JP2015125519A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】撮像画像における被写体の体型が目標とする体型となった画像を提供することを可能とする。
【解決手段】撮影装置１によれば、制御部１１は、撮影画像における被写体を複数のパーツ領域に分割し、分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように複数のパーツ領域のそれぞれのサイズを補正し、補正した複数のパーツ領域を結合してパーツ最適化画像を作成する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、撮影画像の顔領域に対して肌をより美しく見せるために画像処理を施す技術が知られている。

例えば、特許文献１には、撮像された画像に含まれる顔のテカリ具合を検出し補正する技術が記載されている。

特開２０１１−４４１３２号公報

しかしながら、従来、撮影画像における被写体の顔が補正されても体型はそのままであり、被写体の体型が目標とする体型、例えば、モデルのような理想的な体型となった画像を得ることはできなかった。

本発明の課題は、撮像画像における被写体の体型が目標とする体型となった画像を提供できるようにすることである。

上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
撮影画像における被写体を複数のパーツ領域に分割する領域分割手段と、
前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する補正手段と、
前記補正された複数のパーツ領域を結合する結合手段と、
を備える。

本発明によれば、撮像画像における被写体の体型が目標とする体型となった画像を提供することが可能となる。

本実施形態における撮影装置の全体構成を示す図である。 図１の目標比率記憶部のデータ格納例を示す図である。 図１の制御部により実行されるパーツ最適化画像作成処理を示すフローチャートである。 図３のステップＳ２において実行される領域分割処理を示すフローチャートである。 顔領域の下端、上半身領域と下半身領域の閾値範囲、上半身領域と下半身領域の境界位置を示す図である。 図３のステップＳ３において実行されるパーツ最適化処理を示すフローチャートである。 パーツ間の結合を説明するための図である。 被写体の各パーツ領域を最適化した画像の一例を示す図である。

以下、添付図面を参照して本発明に係る好適な実施形態を詳細に説明する。なお、本発明は、図示例に限定されるものではない。

［撮影装置１の構成］
図１は、本実施形態における画像処理装置としての撮影装置１の主制御構成を示すブロック図である。
図１に示すように、撮影装置１は、制御部１１、操作部１２、表示部１３、撮像部１４、記憶部１５、通信部１６等を備えて構成されている。図１に示すように、操作部１２、表示部１３、撮像部１４、記憶部１５、通信部１６は、制御部１１に接続されている。

制御部１１は、記憶部１５に記憶されている各種のプログラムを実行して所定の演算や各部の制御を行うＣＰＵ（Central Processing Unit）とプログラム実行時の作業領域となるメモリとを備えている（いずれも図示略）。制御部１１は、記憶部１５のプログラム記憶部１５１に記憶されているプログラムとの協働により、領域分割手段、補正手段、結合手段、処理レベル算出手段、合成手段、補間手段として機能する。

操作部１２は、電源スイッチ、シャッターキー、各種機能キー、各種モードキー等を備えて構成され、その各キー操作に応じた操作信号を制御部１１に出力する。各種モードキーには、後述するパーツ最適化画像作成処理を実行するモデルモードへの移行を指示するためのモデルモードキーが含まれる。モデルモードは、モデルのような理想体型を目標として撮影画像における被写体の各パーツ領域を補正するモードである。

表示部１３は、液晶表示パネルや有機ＥＬ表示パネル等の表示パネルにより構成され、制御部１１からの指示に従って、操作画面や撮影しようとする画像を表示するためのライブビュー画面等の各種画面を表示する。

撮像部１４は、光学レンズユニット、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ等からなる撮像素子、Ａ／Ｄ変換回路等を備えて構成され、光学系を通過した光学像を２次元の画像信号に変換し、撮影画像の画像データを取得する。

記憶部１５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリ等により構成される。記憶部１５には、図１に示すように、プログラム記憶部１５１、目標比率記憶部１５２が設けられている。
プログラム記憶部１５１には、制御部１１によって実行される各種プログラム及びこれらプログラムの実行に必要なデータ等が記憶されている。
目標比率記憶部１５２には、目標とする体型（ここでは、モデルのような理想的なバランスの体型）のパーツ領域毎の縦幅と横幅の比率、及びパーツ領域間のサイズの比率を示す情報が記憶されている。例えば、目標比率記憶部１５２には、図２（ａ）に示すように、人物を顔領域、上半身領域、下半身領域の３つのパーツ領域に分割し、顔領域の縦幅を１としたときの、理想的な顔領域の横幅、理想的な上半身領域の縦幅及び横幅、理想的な下半身領域の縦幅及び横幅の比率が記憶されている。また、例えば目標比率記憶部１５２には、図２（ｂ）に示すように、人物を顔領域及び体領域の２つのパーツ領域に分割し、顔領域の縦幅を１としたときの、理想的な顔領域の横幅、理想的な上半身領域の縦幅及び横幅、理想的な下半身領域の縦幅及び横幅の比率が記憶されている。

ここで、本実施形態において、顔領域の横幅は顔の中心位置における横幅、上半身の横幅は肩幅、下半身の横幅は上半身との境界位置の幅、体領域の横幅は肩幅とする。また、縦幅は、切り出された各パーツ領域の縦の中心線の長さとする。

通信部１６は、外部機器と通信接続し、データ送受信を行う。外部機器との接続は、例えば、無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）等による無線接続であってもよいし、例えば、ＵＳＢ（Universal Serial Bus）ケーブル等を用いた有線接続であってもよく、その通信方式は特に限定されない。

［撮影装置１の動作］
次に、撮影装置１の動作について説明する。
図３に、撮影装置１において実行されるパーツ最適化画像作成処理のフローチャートを示す。パーツ最適化画像作成処理は、操作部１２のモデルモードキーが押下された際に、制御部１１とプログラム記憶部１５１に記憶されているプログラムとの協働により実行される。

制御部１１は、まず、操作部１２の操作に従って撮影を行う（ステップＳ１）。即ち、操作部１２のシャッターキーの押下に従って、撮像部１４により取り込まれた被写体の画像データをメモリの撮影画像記憶領域に記憶させる。

次いで、制御部１１は、撮影により取得された撮影画像に対して領域分割処理を実行する（ステップＳ２）。
図４に、図３のステップＳ２において実行される領域分割処理のフローチャートを示す。領域分割処理は、制御部１１とプログラム記憶部１５１に記憶されているプログラムとの協働により実行される。

領域分割処理において、制御部１１は、まず、撮影により取得された撮影画像に対して顔認識処理を実行する（ステップＳ２０１）。例えば、人の目、鼻、口等の顔のパーツの特徴に基づく公知の画像処理技術を用いて、撮影画像から顔の認識を行う。

次いで、制御部１１は、顔認識処理の結果に基づいて、撮影画像から顔が認識できたか否かを判断する（ステップＳ２０２）。撮影画像から顔が認識できなかったと判断した場合（ステップＳ２０２；ＮＯ）、制御部１１は、表示部１３にエラーメッセージを表示させ（ステップＳ２０３）、図３のステップＳ１の処理に戻る。
ステップＳ２０３において、制御部１１は、例えば、「顔が認識できませんでした。人物を被写体として再度撮影してください」等のエラーメッセージを表示部１３に表示する。

ステップＳ２０２において、撮影画像から顔が認識できたと判断した場合（ステップＳ２０２；ＹＥＳ）、制御部１１は、撮影画像における顔領域を決定して切り出す（ステップＳ２０４）。具体的には、図５に示すように、認識された顔領域の下端の接線Ｂ１より上を顔領域として決定する。

次いで、制御部１１は、撮影画像に対して体領域認識処理を行う（ステップＳ２０５）。体領域の認識は、公知の技術であり、公知の何れの画像処理技術を用いて行ってもよい。例えば、撮影画像の認識された顔領域の下の領域にエッジ検出等を行って、得られた輪郭の形状や顔領域に対する縦方向の長さの比率等に基づいて、全身の体領域の認識を行う。

次いで、制御部１１は、体領域認識処理の処理結果に基づいて、体領域が認識できたか否かを判断する（ステップ２０６）。撮影画像から体領域が認識できなかったと判断した場合（ステップＳ２０６；ＮＯ）、制御部１１は、表示部１３にエラーメッセージを表示させ（ステップＳ２０７）、図３のステップＳ１の処理に戻る。
ステップＳ２０７においては、制御部１１は、例えば、「体（全身）が認識できませんでした。全身を入れて再度撮影してください」等のエラーメッセージを表示部１３に表示する。

撮影画像から体領域が認識できたと判断した場合（ステップＳ２０６；ＹＥＳ）、制御部１１は、上半身領域と下半身領域の境界位置Ｂ２が含まれていると推定される閾値範囲ＴＨを設定する（ステップＳ２０８）。一般的に、顔の長さ（縦幅）を１（基準）とした上半身の長さ（縦幅）の比率は人によって異なるが、例えば、１．８〜２．８程度である。そこで、この一般的な上半身と下半身の境界位置が含まれる範囲に基づいて、上半身と下半身の境界位置が含まれていると推定される閾値範囲ＴＨを設定する。例えば、図５に示すように、体領域の上端から縦方向に顔の長さの１．８倍〜２．８の距離にある範囲を閾値範囲ＴＨとして設定する。

次いで、制御部１１は、設定した閾値範囲ＴＨ内においてエッジ検出を行って、体領域を上下に分割する衣服の境界線の検出を行う（ステップＳ２０９）。ここで、本実施形態においては、上下の衣服の境界線の位置を撮影画像における体領域の上半身領域と下半身領域の境界位置Ｂ２とする。衣服を境に上半身領域と下半身領域を分割するのは、後述するパーツ最適化処理においてパーツ領域毎に処理する際に、同じ衣服が異なるパーツ領域に分断されないようにするためである。例えば、エッジ検出の結果、閾値範囲ＴＨ内に体の略左右方向にエッジが並んでいる場合に、そのエッジをつないだ線を体領域を上下に分割する衣服の境界線として検出する。なお、例えば、被写体がワンピース等の上下がつながっている衣服を着ている場合には、境界線は検出されない。

ステップＳ２０９の処理の結果、境界位置Ｂ２が検出できた場合（ステップＳ２１０；ＹＥＳ）、制御部１１は、検出した境界位置Ｂ２より上を上半身領域、下を下半身領域に設定してそれぞれを切り出し（ステップＳ２１１）、図３のステップＳ３の処理に移行する。即ち、被写体が顔領域、上半身領域、及び下半身領域の３つのパーツ領域に分割される。なお、上半身領域の上端は、上述の接線Ｂ１の位置である。

一方、ステップＳ２０９の処理の結果、境界位置Ｂ２が検出できなかった場合（ステップＳ２１０；ＮＯ）、制御部１１は、体領域を全体として切り出し（ステップＳ２１２）、図３のステップＳ３の処理に移行する。即ち、被写体が顔領域及び体領域の２つのパーツ領域に分割される。なお、上半身領域の上端は、上述の接線Ｂ１の位置である。

図３のステップＳ３において、制御部１１は、パーツ最適化処理を実行する（ステップＳ３）。
図６に、図３のステップＳ３において実行されるパーツ最適化処理のフローチャートを示す。パーツ最適化処理は、制御部１１とプログラム記憶部１５１に記憶されているプログラムとの協働により実行される。

パーツ最適化処理において、制御部１１は、まず、顔領域、上半身領域及び下半身領域（又は、体領域）の各パーツ領域において、縦幅と横幅を算出する（ステップＳ３０１）。上述のように、顔領域の横幅は顔の中心位置の横幅、上半身の横幅は肩幅、下半身の横幅は上半身との境界位置の幅、体領域の横幅は肩幅とする。また、縦幅は、切り出された各パーツ領域の縦の中心線の長さとする。

次いで、制御部１１は、記憶部１５の目標比率記憶部１５２に記憶されている、顔の縦幅を１としたときの各パーツ領域の縦幅と横幅の目標比率を読み出して、各パーツ領域における縦幅と横幅の比率及び各パーツ間のサイズの比率が目標比率となるように、各パーツ領域のサイズを補正する（ステップＳ３０２）。具体的には、各パーツ領域の縦幅及び／又は横幅を目標比率に基づいて拡大又は縮小する。

次いで、制御部１１は、上半身領域と下半身領域が分割されているか否かを判断する（ステップＳ３０３）。上半身領域と下半身領域が分割されていないと判断した場合（ステップＳ３０３；ＮＯ）、制御部１１は、ステップＳ３０５の処理に移行する。

上半身領域と下半身領域が分割されていると判断した場合（ステップＳ３０３；ＹＥＳ）、制御部１１は、上半身領域と下半身領域を結合し（ステップＳ３０４）、ステップＳ３０５の処理に移行する。

ステップＳ３０４において、制御部１１は、上半身領域の下端と下半身領域の上端を結合し、図７（ａ）に示すように、上半身領域と下半身領域とを結合した領域において上半身領域と下半身領域の結合箇所（境界位置Ｂ２）の基準位置から上下の所定範囲内にある領域を結合処理領域Ｒ１（第１の結合処理領域）として設定し、図７（ｂ）に示すように、設定した結合処理領域Ｒ１の上下方向の中央部Ｃ１（ここでは略Ｂ２に一致）の長さが結合処理領域Ｒ１の上端の長さＢ３と結合処理領域Ｒ１の下端の長さＢ４の平均値となるように結合処理領域Ｒ１の輪郭形状を補正する。ここで、上半身領域と下半身領域の結合箇所（境界位置Ｂ２）の基準位置は、例えば、境界位置Ｂ２の上下方向の中央部となる位置である。境界位置Ｂ２が真横方向の直線等であり、上下方向にずれがない場合は、境界位置Ｂ２そのものが基準位置となる。
なお、図７（ａ）〜（ｄ）においては、結合処理領域Ｒ１、Ｒ２の設定をわかりやすく示すために結合処理領域Ｒ１、Ｒ２を含む矩形に符号Ｒ１、Ｒ２を付して示しているが、実際の結合処理領域Ｒ１、Ｒ２は、矩形で区切られる領域のうち、被写体領域の範囲内であり、被写体領域外は含まない。。

具体的に、制御部１１は、図７（ｂ）に示すように、結合処理領域Ｒ１の中央部Ｃ１の横方向の長さを結合処理領域Ｒ１の上端の長さＢ３と下端の長さＢ４の平均値とし、中央部Ｃ１の左右両端のそれぞれを基点として、基点から結合処理領域Ｒ１の左右同じ側（基点と同じ側）の上端及び結合処理領域Ｒ１の左右同じ側（基点と同じ側）の下端に向かって二次曲線を描くように結合処理領域Ｒ１の左右両側の輪郭形状を補正する。中央部Ｃ１の両端もなだらかになるように補正する。
なお、ここでは、好ましい形態として中央部Ｃ１の長さがＢ３とＢ４の平均値となるように補正するが、これに限定されず、中央部Ｃ１の長さはＢ３の長さとＢ４の長さの間の値となればよい。

次いで、制御部１１は、顔領域と上半身領域（又は体領域）を結合する（ステップＳ３０５）。
例えば、制御部１１は、図７（ａ）に示すように、顔領域の下端と上半身領域（又は体領域）の上端を結合し、顔領域と上半身領域又は体領域とを結合した領域において顔領域と上半身領域（体領域）の結合箇所（境界位置Ｂ１）の基準位置から上下の所定範囲内（上は、基準位置から首の付け根までの長さの幅の範囲、下は基準位置から上と同じ長さの幅の範囲内）にある領域を結合処理領域Ｒ２（第２の結合処理領域）として設定し、図７（ｃ）に示すように、設定した結合処理領域Ｒ２の上下方向の中央部Ｃ２（境界位置Ｂ１に一致）の長さが結合処理領域Ｒ２の上端の長さＢ５と結合処理領域Ｒ２の下端の長さＢ６の平均値となるように結合処理領域Ｒ２の輪郭形状を補正する。ここで、境界位置Ｂ１は真横方向の直線等であり、上下方向にずれがないため、境界位置Ｂ２そのものが基準位置となる。

具体的に、制御部１１は、結合処理領域Ｒ２の中央部Ｃ２の横方向の長さを結合処理領域Ｒ２の上端の長さＢ５と下端の長さＢ６の平均値とし、中央部Ｃ２の左右両端のそれぞれを基点として、基点から、顔領域の左右同じ側（基点と同じ側）の首の付け根及び結合処理領域Ｒ２の左右同じ側（基点と同じ側）の下端に向かって二次曲線を描くように結合処理領域Ｒ２の左右両側の輪郭形状を補正する。中央部Ｃ２の両端もなだらかになるように補正する。
なお、ここでは、好ましい形態として中央部Ｃ２の長さがＢ５とＢ６の平均値となるように補正したが、これに限定されず、中央部Ｃ２の長さはＢ５の長さとＢ６の長さの間の値となればよい。

また、ステップＳ３０５の他の例として、図７（ｄ）に示すように、顔領域はそのままで、結合処理領域Ｒ２の上半身領域（又は体領域）の輪郭のみを補正することとしてもよい。例えば、制御部１１は、顔領域の下辺Ｃ３の左右両端のそれぞれから結合処理領域Ｒ２の左右同じ側の下端に向かって二次曲線を描くように結合処理領域Ｒ２の左右両側の輪郭形状を補正する。すなわち、通常人体における首と頭部の結合は略直線的であり、一方首と胴体部の結合は胴体肩部にかけて２次曲線を描くように滑らかに結合することから、このようにすれば、顔領域の首部分には２次曲線による補正を加えないので、より自然に顔領域と上半身領域を結合することができる。

図８に、図５に示す被写体の各パーツ領域の縦横比及びパーツ間の比率を最適化した画像の一例を示す。

次いで、制御部１１は、撮影画像の背景画像に、顔領域、上半身領域及び下半身領域（又は体領域）を結合した人物画像を合成する（ステップＳ３０６）。このパーツ最適化済みの合成画像をパーツ最適化画像と呼ぶ。

次いで、制御部１１は、合成画像における背景画像と人物画像との間に余白領域が存在するか否かを判断する（ステップＳ３０７）。ここで、もとの撮影画像中の人物画像よりも小さくなったパーツ領域が存在した場合、合成画像におけるそのパーツ領域と背景画像の間に余白領域が存在することになる。余白領域が存在すると判断した場合（ステップＳ３０７；ＹＥＳ）、制御部１１は、余白領域を背景画像における余白領域の近接画素（例えば、余白領域の隣接画素）の画素値により補間し（ステップＳ３０８）、図３のステップＳ４に移行する。余白領域が存在しないと判断した場合（ステップＳ３０７；ＮＯ）、制御部１１は、図３のステップＳ４に移行する。

図３のステップＳ４において、制御部１１は、パーツ最適化処理における処理レベルを算出する（ステップＳ４）。
処理レベルは、各パーツを目標比率にするためにどれだけ拡大又は縮小処理したか、即ち、各パーツが目標比率からどれだけ離れているかを示す値である。例えば、目標比率記憶部１５２に記憶されている目標比率に基づいて、各パーツ領域の目標縦幅の長さ（顔領域の縦幅の長さを１としたときの各パーツ領域の目標縦幅の長さ）を１としたときの各パーツ領域の縦幅の長さを算出し、算出した値と１（各パーツ領域の目標縦幅）との差分（絶対値）を算出する。各パーツ領域の横幅についても同様に、各パーツ領域の目標横幅の長さ（顔領域の縦幅の長さを１としたときの各パーツの目標横幅の長さ）を１としたときの各パーツの横幅の長さを算出し、算出した各値と１（各パーツの目標横幅）との差分を算出する。そして、各パーツの縦幅と横幅の目標との差分を合計し、その合計値に基づいて処理レベルを算出する。
例えば、顔領域、上半身領域、下半身領域のそれぞれの縦幅が各パーツの理想縦幅を１としたときに１、０．８、１．３で表された場合、理想との差分値はそれぞれ０、０．２、０．３となり、合計は０．５となる。また、顔領域、上半身領域、下半身領域のそれぞれの横幅が各パーツの理想横幅を１としたときに１．１、１．０、０．９で表された場合、理想との差分値はそれぞれ０．１、０、０．１となり、合計は０．２となる。縦幅と幅の差分値を合計すると０．７となる。この差分値に例えば１０を掛けたものが処理レベルとして算出される。

処理レベルの算出が終了すると、制御部１１は、作成したパーツ最適化画像及び処理レベルを表示部１３に表示し（ステップＳ５）、パーツ最適化画像作成処理を終了する。

上述のように、パーツ最適化画像は、撮影により得られた被写体の撮影画像を顔領域、上半身領域及び下半身領域（又は、顔領域及び体領域）の各パーツ領域に分割し、各パーツ領域の縦横比及び各パーツ間のサイズの比率が理想的な目標比率となるように各パーツ領域を拡大又は縮小して補正した画像である。従って、被写体の体型が理想的なバランスの体型となった画像を提供することが可能となるので、ユーザは理想的に変化した体型の被写体を見て楽しむことが可能となる。また、パーツ最適化画像と併せて処理レベルを表示するので、被写体がどれだけ目標とする体型に近いか（又は離れているか）を知ることができ、ユーザを楽しませることが可能となる。

［変形例１］
上記実施形態においては、本発明を撮影画像における被写体の体型を理想体型に補正する場合に適用する場合を例にとり説明したが、プロジェクタにより人型に成形されたスクリーンに人物画像を投影するデジタルサイネージ装置においてスクリーンに投影する人物画像を作成する場合に本発明を適用することとしてもよい。

ここで、デジタルサイネージ装置においては、上述のようにスクリーンが人型に成形されているが、撮影した被写体の画像をスクリーンに投影する場合、その被写体の体型によってはスクリーンの形状とフィットしないという問題がある。
そこで、例えば、撮影装置１にデジタルサイネージ装置への投影用の画像を作成するサイネージモード等を設けるとともに、操作部１２にサイネージモードキーを設け、操作部１２によりサイネージモードへの移行が指示された場合に、制御部１１は投影用画像作成処理を実行することとしてもよい。

投影用画像作成処理の流れは、上記実施形態で説明したパーツ最適化処理と同じである。ただし、記憶部１５の目標比率記憶部１５２には、各パーツ領域の目標比率として投影に使用されるスクリーンのパーツ領域毎の縦幅、横幅の比率及びパーツ間のサイズの比率を示す情報を記憶しておく必要がある。そして、投影用画像作成処理においては、図６のステップＳ３０２において、撮影画像の被写体の各パーツ領域における縦幅、横幅の比率及びパーツ領域間のサイズの比率をスクリーンの各パーツ領域の比率に補正する。
なお、スクリーンの各パーツ領域の縦幅及び横幅の比率及びパーツ間のサイズの比率は、例えば、背面から投影に使用するスクリーンに光を当てるか、またはスクリーン認識用画像（例えば、所定色又はグラデーションの画像）を投影した状態で撮像部１４によりスクリーンを撮影し、得られた撮影画像から制御部１１における画像処理によりスクリーンの形状を認識し、認識した形状に基づいて、スクリーンの各パーツ領域の縦幅、横幅を算出（計測）して顔領域の縦幅を１とした比率に置き換えることにより求めることができる。なお、認識したスクリーンの体領域の形状が上半身と下半身の２つに分かれている場合は、体領域を１つにした場合の縦横比は上半身領域と下半身領域の縦幅と横幅の算出値（計測値）に基づいて推定する。また、スクリーンの体領域に上半身、下半身の区切りがないような場合は、記憶部１５にその旨を記憶しておき、領域分割処理で撮影画像の被写体の体領域を上半身領域と下半身領域に分割せずに１つの体領域としてパーツ最適化処理を行うこととしてもよい。

［変形例２］
上記実施形態においては、撮影画像の被写体の顔領域、体領域、及び上半身領域と下半身領域の境界位置を撮影画像を解析することにより認識し、撮影画像の被写体を顔領域、上半身領域及び下半身領域（又は、顔領域及び体領域）に分割することとしたが、例えば、操作部１２に、表示部１３の表示パネル上の操作を検出するタッチパネルを備える構成とし、ハーフシャッター時に、撮像部１４により取り込まれた撮影画像及び顔領域、上半身領域、下半身領域の３つのパーツ領域に対応する枠（又は、顔領域及び体領域の２つのパーツ領域に対応する枠）を表示部１３に表示し、ユーザがその枠をタッチパネル上で操作して各領域の境界を指定することとしてもよい。そして、制御部１１は、タッチパネル上で指定された各パーツ領域の境界に基づいて、撮影画像を各パーツ領域に分割することとしてもよい。このようにすれば、ユーザの所望する位置で領域分割を行うことが可能となる。

以上説明したように、撮影装置１によれば、制御部１１は、撮影画像における被写体を複数のパーツ領域に分割し、分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように複数のパーツ領域のそれぞれのサイズを補正し、補正した複数のパーツ領域を結合してパーツ最適化画像を作成する。

従って、撮像画像における被写体の体型が目標とする体型となった画像を提供することができる。ユーザは、目標となる体型に変化した被写体を見て楽しむことができる。

例えば、制御部１１は、撮影画像から被写体の顔領域及び体領域を認識し、認識した体領域の予め定められた範囲内から体領域を上下に分割する衣服の境界線が検出された場合、体領域のこの境界線よりも上の領域を上半身領域、下の領域を下半身領域と認識して、撮影画像における被写体を顔領域、上半身領域及び下半身領域に分割する。また、例えば、制御部１１は、認識した体領域の予め定められた範囲内から衣服の境界線が検出されない場合は、撮影画像における被写体を顔領域と体領域に分割する。従って、同じ衣服が異なるパーツに分断され、不自然な画像となることを防止することができる。

また、例えば、制御部１１は、操作部１２による指定操作に基づいて撮影画像における被写体を顔領域、上半身領域及び下半身領域の３つのパーツ領域又は顔領域及び体領域の２つのパーツ領域に分割する。従って、ユーザの所望する位置で領域分割を行うことが可能となる。

また、例えば、制御部１１は、上半身領域と下半身領域とを結合し、上半身領域と下半身領域とを結合した領域において上半身領域と下半身領域の結合箇所の基準位置から上下の所定範囲内にある第１の結合処理領域の中央部の横方向の長さを、第１の結合処理領域の上端の長さと下端の長さに基づいて決定される所定の値、例えば、平均値とし、中央部の左右両端のそれぞれから第１の結合処理領域の左右同じ側の上端及び第１の結合処理領域の左右同じ側の下端に向かって二次曲線を描くように第１の結合処理領域の左右両側の輪郭形状を補正する。従って、上半身領域と下半身領域の結合箇所でサイズがずれることなく、なだらかに結合することが可能となる。

また、例えば、制御部１１は、顔領域と上半身領域又は体領域とを結合し、顔領域と上半身領域又は体領域とを結合した領域において顔領域と上半身領域又は体領域との結合箇所の基準位置から上下の所定範囲内にある第２の結合処理領域の中央部の横方向の長さを、第２の結合処理領域の上端の長さと下端の長さに基づいて決定される所定の値、例えば、平均値とし、中央部の左右両端のそれぞれから顔領域の左右同じ側の首の付け根及び第２の結合処理領域の左右同じ側の下端に向かって二次曲線を描くように第２の結合処理領域の左右両側の輪郭形状を補正する。従って、顔領域と上半身領域又は体領域との結合箇所でサイズがずれることなく、なだらかに結合することが可能となる。

また、例えば、制御部１１は、顔領域と上半身領域又は体領域とを結合し、顔領域と上半身領域又は体領域とを結合した領域において顔領域と上半身領域又は体領域との結合箇所の基準位置から上下の所定範囲内にある領域を第２の結合処理領域として設定し、顔領域の下辺の左右の端部から第２の結合処理領域の下辺の左右同じ側の下端に向かって二次曲線を描くように第２の結合処理領域の左右両側の輪郭形状を補正するようにすることで、より自然に顔領域と上半身領域又は体領域とを結合することが可能となる。

また、補正された複数のパーツ領域が結合された被写体画像を出力することで、目標とする体型となった被写体画像をユーザが閲覧することが可能となる。

また、分割された複数のパーツ領域のそれぞれの縦幅と横幅及び目標比率に基づいて処理レベルを算出し出力することで、被写体がとれだけ目標とする体型に近いか（又は、離れているか）をユーザが知ることができ、ユーザを楽しませることができる。

また、補正された複数のパーツ領域が結合された被写体画像を撮影画像における背景画像に合成し、合成された画像における背景画像と被写体画像との間の領域を背景画像における被写体画像との近接画素により補間することで、合成の結果、背景画像と被写体画像との間に余白領域ができた場合に、その余白領域を背景に近い色で目立たせなくすることが可能となる。

なお、上記実施形態における記述内容は、本発明に係る画像処理装置の好適な一例であり、これに限定されるものではない。

例えば、上記実施形態においては、モデルモードを設け、目標比率をモデルのような理想的な体型の比率としたが、これに限定されず、例えば、中年モード等を設け、目標比率を中年のような小太りの体型の比率として、被写体を小太りの体型に補正することとしてもよい。このようにすれば、ユーザは、被写体を様々な体型に変えた画像を得ることができるので、ユーザにより一層楽しみを与えることが可能となる。

また、上記実施形態においては、目標比率を一つとしたが、撮影画像の年齢別、男女別に設けることとしてもよい。そして、撮影画像から被写体の年齢や男女を認識する手段を設け、撮影画像から認識した被写体の年齢や男女の別に応じた目標比率を用いてパーツ最適化処理を行うこととしてもよい。なお、撮影画像の被写体の年齢や男女の認識は、公知の画像処理技術を用いて行うことができる。

また、上記実施形態においては、撮影装置１に本発明の画像処理装置を適用した場合を例にとり説明したが、これに限定されない。例えば、本発明の画像処理装置は、パーソナルコンピューター、スマートフォン、携帯端末等に適用することとしてもよい。

また、上記実施形態においては、パーツ最適化画像作成処理で作成したパーツ最適化画像を表示部１３に表示する場合を例にとり説明したが、パーツ最適化画像を出力する出力手段としては、これに限定されず、例えば、プリンタ等としてもよい。

また、上記実施形態においては、撮影画像の被写体を人物として説明したが、これに限定されず、例えば、キャラクタ等としてもよい。

その他、撮影装置を構成する各装置の細部構成及び細部動作に関しても、発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［付記］
＜請求項１＞
撮影画像における被写体を複数のパーツ領域に分割する領域分割手段と、
前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する補正手段と、
前記補正された複数のパーツ領域を結合する結合手段と、
を備える画像処理装置。
＜請求項２＞
前記領域分割手段は、前記撮影画像から前記被写体の顔領域及び体領域を認識し、前記認識した体領域の予め定められた範囲内から前記体領域を上下に分割する衣服の境界線が検出された場合、前記体領域の前記境界線よりも上の領域を上半身領域、下の領域を下半身領域と認識して、前記撮影画像における被写体を顔領域、上半身領域及び下半身領域に分割する請求項１に記載の画像処理装置。
＜請求項３＞
前記領域分割手段は、前記認識した体領域の予め定められた範囲内から前記体領域を上下に分割する衣服の境界線が検出されない場合は、前記撮影画像における被写体を顔領域と体領域に分割する請求項２に記載の画像処理装置。
＜請求項４＞
前記撮影画像を表示する表示手段と、
前記表示された撮影画像における前記被写体の顔領域、上半身領域、及び下半身領域、又は、前記表示された撮影画像における前記被写体の顔領域及び体領域を指定するための操作手段を更に備え、
前記領域分割手段は、前記操作手段からの指定操作に基づいて前記撮影画像における被写体を顔領域、上半身領域及び下半身領域の３つのパーツ領域又は顔領域及び体領域の２つのパーツ領域に分割する請求項１に記載の画像処理装置。
＜請求項５＞
前記結合手段は、前記上半身領域と前記下半身領域とを結合し、前記上半身領域と前記下半身領域とを結合した領域において前記上半身領域と前記下半身領域の結合箇所の基準位置から上下の所定範囲内にある領域を第１の結合処理領域として設定し、前記第１の結合処理領域の中央部の横方向の長さを前記第１の結合処理領域の上端の長さと下端の長さに基づいて決定される所定の値とし、前記中央部の左右両端のそれぞれから前記第１の結合処理領域の左右同じ側の上端及び前記第１の結合処理領域の左右同じ側の下端に向かって二次曲線を描くように前記第１の結合処理領域の左右両側の輪郭形状を補正する請求項２〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記結合手段は、前記顔領域と前記上半身領域又は前記体領域とを結合し、前記顔領域と前記上半身領域又は前記体領域とを結合した領域において前記顔領域と前記上半身領域又は前記体領域との結合箇所の基準位置から上下の所定範囲内にある領域を第２の結合処理領域として設定し、前記第２の結合処理領域の中央部の横方向の長さを前記第２の結合処理領域の上端の長さと下端の長さに基づいて決定される所定の値とし、前記中央部の左右両端のそれぞれから前記顔領域の左右同じ側の首の付け根及び前記第２の結合処理領域の左右同じ側の下端に向かって二次曲線を描くように前記第２の結合処理領域の左右両側の輪郭形状を補正する請求項２〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記所定の値は、前記上端の長さと前記下端の長さの平均値である請求項５又は６に記載の画像処理装置。
＜請求項８＞
前記結合手段は、前記顔領域と前記上半身領域又は前記体領域とを結合し、前記顔領域と前記上半身領域又は前記体領域とを結合した領域において前記顔領域と前記上半身領域又は前記体領域との結合箇所の基準位置から上下の所定範囲内にある領域を第２の結合処理領域として設定し、前記顔領域の下辺の左右の端部から前記第２の結合処理領域の下辺の左右同じ側の下端に向かって二次曲線を描くように前記第２の結合処理領域の左右両側の輪郭形状を補正する請求項２〜５の何れか一項に記載の画像処理装置。
＜請求項９＞
前記補正された複数のパーツ領域が結合された被写体画像を出力する出力手段を備える請求項１〜８の何れか一項に記載の画像処理装置。
＜請求項１０＞
前記分割された複数のパーツ領域のそれぞれの縦幅と横幅及び前記目標比率に基づいて、前記補正手段における処理レベルを算出する処理レベル算出手段を備え、
前記出力手段は、前記処理レベルを出力する請求項９に記載の画像処理装置。
＜請求項１１＞
前記補正された複数のパーツ領域が結合された被写体画像を前記撮影画像における背景画像に合成する合成手段と、
前記合成された画像における前記背景画像と前記被写体画像との間の領域を前記背景画像における前記被写体画像との近接画素により補間する補間手段と、
を備える請求項１〜１０の何れか一項に記載の画像処理装置。
＜請求項１２＞
撮影画像における被写体を複数のパーツ領域に分割する工程と、
前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する工程と、
前記補正された複数のパーツ領域を結合する工程と、
を含む画像処理方法。
＜請求項１３＞
コンピュータを、
撮影画像における被写体を複数のパーツ領域に分割する領域分割手段、
前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する補正手段、
前記補正された複数のパーツ領域を結合する結合手段、
として機能させるためのプログラム。

１ 撮影装置
１１ 制御部
１２ 操作部
１３ 表示部
１４ 撮像部
１５ 記憶部
１５１ プログラム記憶部
１５２ 目標比率記憶部
１６ 通信部

Claims (13)

1. 撮影画像における被写体を複数のパーツ領域に分割する領域分割手段と、
   前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する補正手段と、
   前記補正された複数のパーツ領域を結合する結合手段と、
   を備える画像処理装置。
2. 前記領域分割手段は、前記撮影画像から前記被写体の顔領域及び体領域を認識し、前記認識した体領域の予め定められた範囲内から前記体領域を上下に分割する衣服の境界線が検出された場合、前記体領域の前記境界線よりも上の領域を上半身領域、下の領域を下半身領域と認識して、前記撮影画像における被写体を顔領域、上半身領域及び下半身領域に分割する請求項１に記載の画像処理装置。
3. 前記領域分割手段は、前記認識した体領域の予め定められた範囲内から前記体領域を上下に分割する衣服の境界線が検出されない場合は、前記撮影画像における被写体を顔領域と体領域に分割する請求項２に記載の画像処理装置。
4. 前記撮影画像を表示する表示手段と、
   前記表示された撮影画像における前記被写体の顔領域、上半身領域、及び下半身領域、又は、前記表示された撮影画像における前記被写体の顔領域及び体領域を指定するための操作手段を更に備え、
   前記領域分割手段は、前記操作手段からの指定操作に基づいて前記撮影画像における被写体を顔領域、上半身領域及び下半身領域の３つのパーツ領域又は顔領域及び体領域の２つのパーツ領域に分割する請求項１に記載の画像処理装置。
5. 前記結合手段は、前記上半身領域と前記下半身領域とを結合し、前記上半身領域と前記下半身領域とを結合した領域において前記上半身領域と前記下半身領域の結合箇所の基準位置から上下の所定範囲内にある領域を第１の結合処理領域として設定し、前記第１の結合処理領域の中央部の横方向の長さを前記第１の結合処理領域の上端の長さと下端の長さに基づいて決定される所定の値とし、前記中央部の左右両端のそれぞれから前記第１の結合処理領域の左右同じ側の上端及び前記第１の結合処理領域の左右同じ側の下端に向かって二次曲線を描くように前記第１の結合処理領域の左右両側の輪郭形状を補正する請求項２〜４の何れか一項に記載の画像処理装置。
6. 前記結合手段は、前記顔領域と前記上半身領域又は前記体領域とを結合し、前記顔領域と前記上半身領域又は前記体領域とを結合した領域において前記顔領域と前記上半身領域又は前記体領域との結合箇所の基準位置から上下の所定範囲内にある領域を第２の結合処理領域として設定し、前記第２の結合処理領域の中央部の横方向の長さを前記第２の結合処理領域の上端の長さと下端の長さに基づいて決定される所定の値とし、前記中央部の左右両端のそれぞれから前記顔領域の左右同じ側の首の付け根及び前記第２の結合処理領域の左右同じ側の下端に向かって二次曲線を描くように前記第２の結合処理領域の左右両側の輪郭形状を補正する請求項２〜５の何れか一項に記載の画像処理装置。
7. 前記所定の値は、前記上端の長さと前記下端の長さの平均値である請求項５又は６に記載の画像処理装置。
8. 前記結合手段は、前記顔領域と前記上半身領域又は前記体領域とを結合し、前記顔領域と前記上半身領域又は前記体領域とを結合した領域において前記顔領域と前記上半身領域又は前記体領域との結合箇所の基準位置から上下の所定範囲内にある領域を第２の結合処理領域として設定し、前記顔領域の下辺の左右の端部から前記第２の結合処理領域の下辺の左右同じ側の下端に向かって二次曲線を描くように前記第２の結合処理領域の左右両側の輪郭形状を補正する請求項２〜５の何れか一項に記載の画像処理装置。
9. 前記補正された複数のパーツ領域が結合された被写体画像を出力する出力手段を備える請求項１〜８の何れか一項に記載の画像処理装置。
10. 前記分割された複数のパーツ領域のそれぞれの縦幅と横幅及び前記目標比率に基づいて、前記補正手段における処理レベルを算出する処理レベル算出手段を備え、
    前記出力手段は、前記処理レベルを出力する請求項９に記載の画像処理装置。
11. 前記補正された複数のパーツ領域が結合された被写体画像を前記撮影画像における背景画像に合成する合成手段と、
    前記合成された画像における前記背景画像と前記被写体画像との間の領域を前記背景画像における前記被写体画像との近接画素により補間する補間手段と、
    を備える請求項１〜１０の何れか一項に記載の画像処理装置。
12. 撮影画像における被写体を複数のパーツ領域に分割する工程と、
    前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する工程と、
    前記補正された複数のパーツ領域を結合する工程と、
    を含む画像処理方法。
13. コンピュータを、
    撮影画像における被写体を複数のパーツ領域に分割する領域分割手段、
    前記分割された複数のパーツ領域のそれぞれの縦幅と横幅の比率、及び各パーツ領域間のサイズの比率がそれぞれ予め定められた目標比率となるように前記複数のパーツ領域のそれぞれのサイズを補正する補正手段、
    前記補正された複数のパーツ領域を結合する結合手段、
    として機能させるためのプログラム。

Images