JP2018081430A - 画像処理装置、画像処理方法、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】見本画像のテクスチャ特性を転写する際に、奥行きを表現でき、自然な画像とすることができる画像処理装置等を提供できる。【解決手段】原画像から指定領域を検出する領域検出部１３と、指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、指定領域に合わせた奥行きを表現するように見本画像のテクスチャを変形させる画像処理部１６と、変形した見本画像を原画像の指定領域に対し合成する画像合成部１７と、を備える画像処理装置１０。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。

画像加工・再現の分野では、これまで、画像全体を適正な画質に修正する技術や、人の肌や風景の空などの記憶色を好ましく仕上げる技術によって、画質を向上させる研究が行われてきた。また近年、人の知覚に訴える、または手触り感などの視覚以外の感覚が喚起する質感の制御を行なう研究がさかんになっている。

特許文献１には、画像入力装置は物体のＲＧＢ表色系における画像を入力して画像保持用メモリに記憶し、ディスプレイ制御部はＲＧＢ表色系で表現した物体色ベクトル、照明光ベクトル、２次反射光ベクトルを決定してデータメモリに記憶すると共に、これらベクトルと物体の各画素毎の画像データを反射モデル式に代入して各画素毎に３つの係数を演算し、係数記憶部に記憶し、かかる状態で、操作部より３つのベクトル及び３つの係数のうち少なくとも１つのパラメ−タを変更すると、ディスプレイ制御部は反射モデル式を用いて各画素のＲＧＢ表色系における画像データを生成して画像表示部に記憶し、ディスプレイ装置に描画することが開示されている。
また特許文献２には、輝度補正手段が、入力される画像データの各画素の輝度を、画像データの所定範囲内の平均輝度を用いて輝度補正して画像強度データを生成し、知覚的な鏡面反射像推定手段が、画像強度データに高域通過フィルタリングと非線形変換を施して知覚的な鏡面反射像のデータを得、知覚的な拡散反射像推定手段が、画像強度データから、知覚的な鏡面反射像のデータに閾値処理を施した画像データを減算して知覚的な拡散反射像のデータを得、明度推定手段が、知覚的な鏡面反射像のデータを平均して明度を得、光沢度推定手段が、知覚的な鏡面反射像のデータを平均し、その平均値を明度で除算して光沢度を得る知覚的な鏡面・拡散反射画像推定装置が開示されている。

特開平５−４０８３３号公報 特開２００８−２８１４０２号公報

質感の制御を行なうのに、原画像の一部に、見本となる画像である見本画像のテクスチャ特性を転写するなどの操作を行なうことがある。
しかしながらこの方法では、見本画像の凹凸等の特性を反映させ、質感を制御することはできるが、単に転写しただけでは奥行きについては表現できず、不自然な画像となることがある。
本発明は、見本画像のテクスチャ特性を転写する際に、奥行きを表現でき、自然な画像とすることができる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、原画像から指定領域を検出する領域検出部と、前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理部と、変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成部と、を備える画像処理装置である。
請求項２に記載の発明は、前記画像処理部は、前記見本画像の画素の座標に対しアフィン変換または射影変換を行うことにより当該見本画像の形状およびテクスチャを変形させることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記画像処理部は、前記見本画像をキルティング処理することでさらに大きな見本画像を作成することを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、前記画像処理部は、前記見本画像の変形を行なうための基準となる基準矩形を設定し、ユーザが当該基準矩形を変形させる程度により当該見本画像の形状およびテクスチャの変形の程度を決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置である。
請求項５に記載の発明は、前記画像処理部は、前記基準矩形の４つの頂点の位置を変更することで、当該基準矩形を変形させることを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、前記画像処理部は、前記基準矩形の４つの頂点のうち何れか１つを指定した後に移動先の位置を指定し、さらに指定した１つの頂点以外の他の３つの頂点についても同様の処理を行なうことで、当該基準矩形の４つの頂点の位置を変更することを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記画像処理部は、前記基準矩形の４つの辺のうち何れか１つに沿って方向を指定することで、当該方向の先にある頂点の位置を変更することを特徴とする請求項５に記載の画像処理装置である。
請求項８に記載の発明は、原画像から指定領域を検出する領域検出工程と、前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理工程と、変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成工程と、を有する画像処理方法である。
請求項９に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、原画像から指定領域を検出する領域検出部と、前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理部と、変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成部と、を備える画像処理システムである。
請求項１０に記載の発明は、コンピュータに、原画像から指定領域を検出する領域検出機能と、前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理機能と、変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成機能と、を実現させるプログラムである。

請求項１の発明によれば、見本画像のテクスチャ特性を転写する際に、奥行きを表現でき、自然な画像とすることができる画像処理装置を提供することができる。
請求項２の発明によれば、奥行きを表現するのにより適した変換を行なうことができ、奥行きをより知覚しやすい画像とすることができる。
請求項３の発明によれば、見本画像が小さい場合でも見本画像をより大きい指定領域に対し合成することができる。
請求項４の発明によれば、より直観的に見本画像を変形することができる。
請求項５の発明によれば、見本画像を変形する処理がより容易になる。
請求項６の発明によれば、基準矩形の４つの頂点の位置を変更する作業をより直観的に行なうことができる。
請求項７の発明によれば、基準矩形の４つの頂点の位置を変更する作業をより直観的に行なうことができる。
請求項８の発明によれば、見本画像のテクスチャ特性を転写する際に、奥行きを表現でき、自然な画像とすることができる画像処理方法を提供することができる。
請求項９の発明によれば、画像処理がより容易に行える画像処理システムが提供できる。
請求項１０の発明によれば、見本画像のテクスチャ特性を転写する際に、奥行きを表現でき、自然な画像とすることができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 本実施の形態における画像処理装置の機能構成例を表すブロック図である。 （ａ）〜（ｂ）は、指定領域を指定する作業をユーザインタラクティブに行なう方法の例を示した図である。 図３（ａ）の画像に対し、領域拡張方法により指定領域を切り出した結果を示した図である。 （ａ）〜（ｃ）は、見本画像について示した図である。 従来の方法により見本画像を、画像の指定領域に対し合成した合成画像の一例を示している。 アフィン変換により変形前の見本画像と変形後の見本画像とを比較した図である。 （ａ）〜（ｂ）は、射影変換により変形前の見本画像と変形後の見本画像とを比較した図である。 （ａ）〜（ｂ）は、実際にユーザが指定領域の形状に合わせて見本画像の形状を変化させる方法の第１の例を示した図である。 基準矩形の４つの頂点を、マウスでドラッグしたり、ユーザの指やタッチペン等によりスワイプすることで直接移動させる場合を示した図である。 （ａ）〜（ｃ）は、実際にユーザが指定領域の形状に合わせて見本画像の形状を変化させる方法の第２の例を示した図である。 画像処理部で変形した見本画像を、画像の指定領域に対し合成した後の合成画像を示している。 画像処理装置の動作について説明したフローチャートである。 画像処理装置のハードウェア構成を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。

＜画像処理装置の説明＞
図２は、本実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報取得部１１と、ユーザ指示受付部１２と、領域検出部１３と、見本画像取得部１４と、見本画像記憶部１５と、画像処理部１６と、画像合成部１７と、画像情報出力部１８とを備える。

画像情報取得部１１は、画像処理を行なう画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置２０で表示を行なうための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。

ユーザ指示受付部１２は、位置情報取得部の一例であり、入力装置３０により入力された画像処理に関するユーザによる指示を受け付ける。
具体的には、ユーザ指示受付部１２は、表示装置２０で表示している画像の中から、ユーザが特定の画像領域として指定した指定領域を指定する指示をユーザ指示情報として受け付ける。この特定の画像領域は、この場合、ユーザが画像処理を行なう画像領域である。実際には、本実施の形態では、ユーザ指示受付部１２は、ユーザ指示情報として、ユーザが入力した指定領域の代表位置を表す位置情報を取得する。
また詳しくは後述するが、ユーザ指示受付部１２は、ユーザが、見本画像を選択する指示をユーザ指示情報として受け付ける。さらにユーザ指示受付部１２は、画像処理部１６が行なう処理であり、選択された見本画像を変形させるための指示をユーザ指示情報として受け付ける。

本実施の形態では、指定領域を指定する作業を下記に説明するユーザインタラクティブに行なう方法を採用する。
図３（ａ）〜（ｂ）は、指定領域を指定する作業をユーザインタラクティブに行なう方法の例を示した図である。
図３（ａ）では、表示装置２０の表示画面２１で表示している画像が、室内の写真の画像Ｇ（原画像）である場合を示している。そしてユーザが、前景として床の部分、および後景として床以外の部分をそれぞれ指定領域として選択する場合を示している。即ち、この場合指定領域は２つある。以後、床の部分の指定領域を「第１の指定領域」、床以外の部分の指定領域を「第２の指定領域」と言うことがある。

そしてユーザは、指定領域のそれぞれに対し代表となる軌跡をそれぞれ与える。この軌跡は、入力装置３０により入力することができる。具体的には、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをドラッグし軌跡を描く。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをなぞりスワイプすることで同様に軌跡を描く。なお軌跡ではなく、点として与えてもよい。即ち、ユーザは、それぞれの指定領域に対し代表となる位置を示す情報を与えればよい。これは指定領域の代表位置を表す位置情報をユーザが入力する、と言い換えることもできる。なお以後、この軌跡や点等を「シード」と言うことがある。

図３（ｂ）は、図３（ａ）の画像Ｇにシードを描いた例を示している。図３（ｂ）では、床の部分と床以外の部分にそれぞれシードが描かれている。なお以後、前景である床の部分に描かれたシードを「シード１」、後景である床以外の部分に描かれたシードを「シード２」ということがある。

領域検出部１３は、シードの位置情報に基づき、表示装置２０で表示されている画像Ｇ（原画像）から指定領域を検出する。

領域検出部１３が、シードの位置情報を基にして指定領域を切り出すには、まずシードが描かれた箇所の画素に対しラベルを付加する。図３（ｂ）の例では、床の部分に描かれたシード１に対応する画素に「ラベル１」を、床以外の部分に描かれたシード２に対応する画素に「ラベル２」を付加する。本実施の形態では、このようにラベルを付与することを「ラベル付け」と言う。

そしてシードが描かれた画素と周辺の画素との間で画素値の近さを基に、近ければ連結し、遠ければ連結しない作業等を繰り返し、領域を拡張していく領域拡張方法により、指定領域を切り出していく。

図４は、図３（ａ）の画像Ｇに対し、領域拡張方法により指定領域を切り出した結果を示した図である。
図示するように指定領域として２つの指定領域である第１の指定領域Ｓ１、第２の指定領域Ｓ２が切り出される。

以上のような方法を採用することで、指定領域が複雑な形状であっても、ユーザは、より直感的に、またより容易に指定領域が切り出せる。

見本画像取得部１４は、見本となる画像である見本画像の画像情報を取得する。ここでは見本画像の画像情報は、見本画像記憶部１５に記憶されている。そして例えば、ユーザが見本画像記憶部１５に記憶されている見本画像の中から何れかを選択する指示を行なう。これにより見本画像取得部１４は、見本画像記憶部１５を参照し、見本画像を取得する。ただしこれに限られるものではなく、例えば、ユーザが画像処理装置１０に見本画像の画像情報を入力し、これにより見本画像取得部１４が見本画像の画像情報を取得してもよい。

図５（ａ）〜（ｃ）は、見本画像について示した図である。
図５（ａ）は、見本画像Ｇ_Ｍの一例について示している。この見本画像Ｇ_Ｍは、矩形形状をしており図示するように破線を並べて配列させたようなテクスチャを有する。なおここでテクスチャとは、見本画像Ｇ_Ｍが有する質感であり、色彩感、凹凸感、陰影の程度等が複合したものである。

また図５（ｂ）は、図５（ｂ）の見本画像Ｇ_Ｍを２個×３個＝６個並べた例を示している。さらに図５（ｃ）は、図５（ｂ）の見本画像Ｇ_Ｍのつなぎ目にキルティング処理をし、新たな見本画像Ｇ_Ｍを作成した例を示している。つまり見本画像Ｇ_Ｍが、図５（ａ）に示すような小さい画像であった場合でも、図５（ｂ）〜（ｃ）に示すように、見本画像Ｇ_Ｍをキルティング処理することでさらに大きな見本画像Ｇ_Ｍを作成することができる。これにより後述する画像合成部１７の処理において、見本画像取得部１４で取得した見本画像Ｇ_Ｍより指定領域が大きい領域を占める場合でも対応できる。

画像処理部１６は、選択された指定領域に対し画像処理を行なう。具体的には、画像処理部１６は、指定領域の形状に合わせて見本画像Ｇ_Ｍの形状を変形させるとともに、指定領域に合わせた奥行きを表現するように見本画像Ｇ_Ｍのテクスチャを変形させる。
また画像合成部１７は、画像処理部１６で変形した見本画像Ｇ_Ｍを画像Ｇの指定領域に対し合成する。

図６は、従来の方法により見本画像Ｇ_Ｍを、画像Ｇの指定領域に対し合成した合成画像Ｇ’の一例を示している。
ここでは、前景である床の部分に対応する第１の指定領域Ｓ１に対して見本画像Ｇ_Ｍを合成した場合を示している。
図示するように、第１の指定領域Ｓ１について、見本画像Ｇ_Ｍのテクスチャが反映され、床のテクスチャが見本画像Ｇ_Ｍのテクスチャとなっていることがわかる。ただしこのテクスチャは画像Ｇの奥行き感と合致しておらず、不自然な画像となっている。

そこで本実施の形態では、画像処理部１６において、見本画像Ｇ_Ｍに対し奥行きが表現できるような変形を行ない、これにより奥行き感を表現する。

この変形の手法としては、例えば、見本画像Ｇ_Ｍの画素の座標に対しアフィン変換を行い座標を変換することで行なうことができる。
アフィン変換は、平行移動と線形変換を組み合わせた変換であり、下記数１式で表すことができる。数１式は、アフィン変換前の見本画像Ｇ_Ｍの画素の座標（ｘ、ｙ）を、アフィン変換後の見本画像Ｇ_Ｍの画素の座標（ｘ’、ｙ’）に変換する数式である。またａ、ｂ、ｃ、ｄ、ｅ、ｆは、アフィン変換係数である。

図７は、アフィン変換により変形前の見本画像Ｇ_Ｍと変形後の見本画像Ｇ_Ｍとを比較した図である。ここでは、変形前の見本画像Ｇ_Ｍを太線で示し、変形後の見本画像Ｇ_Ｍを（１）〜（５）で示している。なお（１）〜（５）は、説明をわかりやすくするため、変換後の見本画像Ｇ_Ｍについてその輪郭のみを図示している。

このうち（１）は、変形前の見本画像Ｇ_Ｍを縮小した例を示している。この場合、変形後の見本画像Ｇ_Ｍは、形状は変化せず、大きさが小さくなる。また（２）は、変形前の見本画像Ｇ_Ｍを拡大した例を示している。この場合、変形後の見本画像Ｇ_Ｍは、形状は変化せず、大きさが大きくなる。さらに（３）は、変形前の見本画像Ｇ_Ｍを平行移動した例を示している。この場合、変形後の見本画像Ｇ_Ｍは、形状や大きさは変化しないが、変形前の見本画像Ｇ_Ｍに含まれる画素の位置が同じ方向に同じ距離だけ変化する。またさらに（４）は、変形前の見本画像Ｇ_Ｍを回転した例を示している。この場合、変形後の見本画像Ｇ_Ｍは、形状や大きさは変化しないが、変形前の見本画像Ｇ_Ｍに含まれる画素の位置が、ある点を中心として一定の角度だけ回転する。またさらに（５）は、変形前の見本画像Ｇ_Ｍをスキュー（せん断）させた例を示している。この場合、変形後の見本画像Ｇ_Ｍは、形状が平行四辺形に変形する。

アフィン変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを調整することで、指定領域の形状に合わせて見本画像Ｇ_Ｍの形状を変化させることができる。

また他の変形の手法としては、例えば、見本画像Ｇ_Ｍの画素に対し射影変換を行い座標を変換することで行なうことができる。
射影変換は、下記数２式で表すことができる。数２式は、アフィン変換前の見本画像Ｇ_Ｍの画素の座標（ｘ、ｙ）を、アフィン変換後の見本画像Ｇ_Ｍの画素の座標（ｕ、ｖ）に変換する数式である。またａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈは、変換係数である。

変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈの８つの未知数となるため、変換前後で最低限４つの対応関係がわかればよいことになる。そこで、数２式を以下の数３式のように変形する。

数３式は、２つの方程式を含むので、（ｘ、ｙ）と（ｕ、ｖ）の対応関係を４組与えれば、８つの方程式ができることになる。これにより変換係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈの８つの未知数が求まる。

図８（ａ）〜（ｂ）は、射影変換により変形前の見本画像Ｇ_Ｍと変形後の見本画像Ｇ_Ｍとを比較した図である。
ここで図８（ａ）は、変形前の見本画像Ｇ_Ｍを表し、図８（ｂ）は、変形後の見本画像Ｇ_Ｍを表す。図示するように変形後の見本画像Ｇ_Ｍは、形状が台形に変形する。

図９（ａ）〜（ｂ）は、実際にユーザが指定領域の形状に合わせて見本画像Ｇ_Ｍの形状を変化させる方法の第１の例を示した図である。
ここでは、表示画面２１で表示される画像Ｇ中に基準矩形Ｑを設定し、これをユーザが変形させる。基準矩形Ｑは、見本画像Ｇ_Ｍの変形を行なうための基準となる図形である。そしてユーザが基準矩形Ｑを変形させると、基準矩形Ｑの変形に合わせて見本画像Ｇ_Ｍの形状が変化する。この際、画像処理部１６は、ユーザが基準矩形Ｑを変形させる程度により見本画像Ｇ_Ｍの形状およびテクスチャの変形の程度を決定する。

図９（ａ）は、画像Ｇに基準矩形Ｑを表示した場合を示している。そしてユーザは、基準矩形Ｑの４つの頂点の位置を変更することで、基準矩形Ｑを変形させる。このときユーザ指示受付部１２は、ユーザ指示情報として、４つの頂点の位置を変更するための情報を取得する。そして画像処理部１６は、画像Ｇ中において基準矩形Ｑを変形させ、さらにこれに応じて見本画像Ｇ_Ｍを変形させる。これらは表示画面２１で表示される画像Ｇ中に表示される。

ここではユーザは、基準矩形Ｑの４つの頂点のうち何れか１つを指定した後に画像中の１点を指定する。この１点は、先に指定した１つの頂点の移動先の位置を意味する。さらにユーザは、指定した１つの頂点以外の他の３つの頂点についても同様の処理を行なう。つまりユーザは、基準矩形Ｑの４つの頂点の移動先として画像中の合計４点を指定する。

図９（ｂ）は、画像中の４点を指定する様子を示した図である。この操作によりユーザは、基準矩形Ｑの４つの頂点の移動先を決定し、基準矩形Ｑを変形させることができる。そして画像中の４点の位置により、見本画像Ｇ_Ｍの形状を変化させる程度を調整することができる。なおこれは見本画像Ｇ_Ｍを歪ませる程度を調整すると言うこともできる。

ユーザは、入力装置３０がマウスであった場合は、マウスを操作して表示装置２０の表示画面２１で表示している画像Ｇをクリックすることで指定を行なう。また入力装置３０がタッチパネルであった場合は、ユーザの指やタッチペン等により画像Ｇをタップすることで指定を行なう。

また図１０で示すように、基準矩形Ｑの４つの頂点を、マウスでドラッグしたり、ユーザの指やタッチペン等によりスワイプすることで直接移動させてもよい。

図１１（ａ）〜（ｃ）は、実際にユーザが指定領域の形状に合わせて見本画像Ｇ_Ｍの形状を変化させる方法の第２の例を示した図である。
ここでも、基準矩形Ｑを使用し、これをユーザが変形させることで、見本画像Ｇ_Ｍの形状を変化させる。ただし基準矩形Ｑを変形させる操作が異なる。ここでは、基準矩形Ｑの４つの辺の何れか１つに沿って方向を指定することで、この方向の先にある頂点の位置を変更する。

図１１（ａ）は、基準矩形Ｑの下領域を基準矩形Ｑの下辺に沿って右方向に、マウスでドラッグしたり、ユーザの指やタッチペン等によりスワイプしたことを示している。このドラッグやスワイプの操作により基準矩形Ｑの下辺に沿った方向を指定することになる。そしてこの場合、この方向の先にある基準矩形Ｑの右下の頂点を移動させる操作となり、基準矩形Ｑの右下が広がる。

また図１１（ｂ）は、図１１（ａ）の操作の後、基準矩形Ｑの下領域を基準矩形Ｑの下辺に沿って左方向に、マウスでドラッグしたり、ユーザの指やタッチペン等によりスワイプしたことを示している。図１１（ａ）と同様に、このドラッグやスワイプの操作により基準矩形Ｑの下辺に沿った方向を指定することになる。そしてこの場合、この方向の先にある基準矩形Ｑの左下の頂点を移動させる操作となり、基準矩形Ｑの左下が広がる。

さらに図１１（ｃ）は、図１１（ｂ）の操作の後、基準矩形Ｑの上領域を基準矩形Ｑの上辺に沿って左方向に、マウスでドラッグしたり、ユーザの指やタッチペン等によりスワイプしたことを示している。このドラッグやスワイプの操作により基準矩形Ｑの上辺に沿った方向を指定することになる。そしてこの場合、この方向の先にある基準矩形Ｑの左上の頂点を移動させる操作となり、基準矩形Ｑの左上が広がる。なお基準矩形Ｑの上領域を基準矩形Ｑの上辺に沿って右方向にドラッグ等すると、基準矩形Ｑの右上の頂点を移動させる操作となり、基準矩形Ｑの右上が広がる。
図１１（ａ）〜（ｃ）の場合、基準矩形Ｑの下辺や上辺を利用することで、基準矩形Ｑの頂点を左右方向に移動させる操作となる。なお基準矩形Ｑの下辺や上辺だけでなく、左辺や右辺を利用してもよい。この場合、基準矩形Ｑの頂点を上下方向に移動させる操作となる。

図１２は、画像処理部１６で変形した見本画像Ｇ_Ｍを、画像Ｇの指定領域に対し合成した後の合成画像Ｇ’を示している。
図示するように、第１の指定領域Ｓ１の箇所が、変形後の見本画像Ｇ_Ｍに置き換わっている。この合成画像Ｇ’は、図６で示した合成画像Ｇ’と同様に見本画像Ｇ_Ｍのテクスチャが反映され、床のテクスチャが見本画像Ｇ_Ｍのテクスチャとなっている。また図６とは異なり、このテクスチャは奥行きを表現するものであるので、テクスチャと画像Ｇの奥行き感とは合致しており、自然な画像となっている。

図２に戻り、画像情報出力部１８は、以上のように画像処理がなされた後の画像情報を出力する。画像処理がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０の表示画面２１にてこの画像情報に基づき画像が表示される。

次に画像処理装置１０の動作について説明する。
図１３は、画像処理装置１０の動作について説明したフローチャートである。
まず画像情報取得部１１は、画像処理を行なう画像Ｇ（原画像）の画像情報を取得する（ステップ１０１）。
次にユーザ指示受付部１２が、画像Ｇに対しユーザが描いたシードの位置情報を取得する（ステップ１０２）。
そして領域検出部１３が、シードの位置情報を基にして指定領域を切り出す（ステップ１０３）。

一方、見本画像取得部１４が、ユーザの指示に基づき見本画像記憶部１５から見本画像Ｇ_Ｍの画像情報を取得する（ステップ１０４）。
次に画像処理部１６が、指定領域の形状に合わせて見本画像Ｇ_Ｍの形状を変形させるとともに、指定領域に合わせた奥行きを表現するように見本画像Ｇ_Ｍのテクスチャを変形させる（ステップ１０５）。

さらに画像合成部１７は、画像処理部１６で変形した見本画像Ｇ_Ｍを画像Ｇの指定領域に対し合成する（ステップ１０６）。
そして画像情報出力部１８は、以上のように画像処理がなされた後の画像情報を出力する（ステップ１０７）。

以上詳述した画像処理装置１０によれば、見本画像のテクスチャ特性を転写する際に、奥行きを表現でき自然な画像とすることができる。

なお以上説明した画像処理装置１０が行なう処理は、原画像（画像Ｇ）から指定領域を検出する領域検出工程と、指定領域の形状に合わせて見本となる画像である見本画像Ｇ_Ｍの形状を変形させるとともに、指定領域に合わせた奥行きを表現するように見本画像Ｇ_Ｍのテクスチャを変形させる画像処理工程と、変形した見本画像Ｇ_Ｍを原画像の指定領域に対し合成する画像合成工程と、を有する画像処理方法として捉えることもできる。

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図１４は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（以下、「通信Ｉ／Ｆ」と表記する）９４を備える。

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、原画像（画像Ｇ）から指定領域を検出する領域検出機能と、指定領域の形状に合わせて見本となる画像である見本画像Ｇ_Ｍの形状を変形させるとともに、指定領域に合わせた奥行きを表現するように見本画像Ｇ_Ｍのテクスチャを変形させる画像処理機能と、変形した見本画像Ｇ_Ｍを原画像の指定領域に対し合成する画像合成機能と、を実現させるプログラムとして捉えることもできる。

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…領域検出部、１４…見本画像取得部、１５…見本画像記憶部、１６…画像処理部、１７…画像合成部、１８…画像情報出力部、２０…表示装置、３０…入力装置

Claims (10)

1. 原画像から指定領域を検出する領域検出部と、
   前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理部と、
   変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成部と、
   を備える画像処理装置。
2. 前記画像処理部は、前記見本画像の画素の座標に対しアフィン変換または射影変換を行うことにより当該見本画像の形状およびテクスチャを変形させることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記見本画像をキルティング処理することでさらに大きな見本画像を作成することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像処理部は、前記見本画像の変形を行なうための基準となる基準矩形を設定し、ユーザが当該基準矩形を変形させる程度により当該見本画像の形状およびテクスチャの変形の程度を決定することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記画像処理部は、前記基準矩形の４つの頂点の位置を変更することで、当該基準矩形を変形させることを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理部は、前記基準矩形の４つの頂点のうち何れか１つを指定した後に移動先の位置を指定し、さらに指定した１つの頂点以外の他の３つの頂点についても同様の処理を行なうことで、当該基準矩形の４つの頂点の位置を変更することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像処理部は、前記基準矩形の４つの辺のうち何れか１つに沿って方向を指定することで、当該方向の先にある頂点の位置を変更することを特徴とする請求項５に記載の画像処理装置。
8. 原画像から指定領域を検出する領域検出工程と、
   前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理工程と、
   変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成工程と、
   を有する画像処理方法。
9. 画像を表示する表示装置と、
   前記表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置と、
   を備え、
   前記画像処理装置は、
   原画像から指定領域を検出する領域検出部と、
   前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理部と、
   変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成部と、
   を備える画像処理システム。
10. コンピュータに、
    原画像から指定領域を検出する領域検出機能と、
    前記指定領域の形状に合わせて見本となる画像である見本画像の形状を変形させるとともに、当該指定領域に合わせた奥行きを表現するように当該見本画像のテクスチャを変形させる画像処理機能と、
    変形した前記見本画像を前記原画像の前記指定領域に対し合成する画像合成機能と、
    を実現させるプログラム。

Images