JP2008059005A - 画像合成装置、プログラム、記録媒体 - Google Patents

Abstract

【課題】適正な合成用画像を取得して所望の画像合成結果を得ることができる画像合成装置を提供する。
【解決手段】画像合成装置３は、素材画像選択手段１１、画像合成手段１２、画像合成結果出力手段１３、顔画像選択手段１４、顔輪郭抽出手段１５、顔輪郭補正手段１６、素材画像４１を保持する記憶部２３を備える。顔画像選択手段１４は、撮像や画像読込により顔画像を取得する。顔輪郭抽出手段１５は、顔画像から顔輪郭を示す輪郭枠や中心軸を自動認識することにより、画像合成用の顔輪郭画像を抽出する。顔輪郭補正手段１６は、顔輪郭を示す顔輪郭や中心軸を手動補正する。素材画像選択手段１１は、画像合成に用いる素材画像を選択する。画像合成手段１２は、顔輪郭画像と素材画像とを合成して合成画像を作成する。画像合成結果出力手段１３は、画像合成結果である合成画像を出力する。
【選択図】図１

Description

本発明は、複数の画像を合成する画像合成装置に関する。

従来、画像合成装置は、複数の画像を重畳することにより画像合成を行う。また、原画像の一部を合成用画像で置き換える画像合成装置がある（例えば、［特許文献１］参照。）。また、顔画像にヘアスタイル画像やドレス画像等の素材画像を合成する画像合成装置がある。この画像合成装置は、顔画像から顔輪郭を自動認識し、顔輪郭画像と素材画像とを画像合成して表示する。

特開平９−１０２０２８号公報

しかしながら、従来の画像合成装置では、顔輪郭を自動認識すると、顔形態の個人差等のため、適正な顔輪郭画像を取得できない場合があるという問題点がある。また、不適正な顔輪郭画像を用いて画像合成を行うと、意図した画像合成結果を得ることができないという問題点がある。

本発明は、以上の問題点に鑑みてなされたものであり、適正な合成用画像を取得して所望の画像合成結果を得ることができる画像合成装置を提供することを目的とする。

前述した目的を達成するために第１の発明は、少なくとも１つの端末装置にネットワークを介して接続され画像合成を行う画像合成装置であって、素材画像を保持する保持手段と、前記端末装置の入力画像から輪郭を自動認識する輪郭認識手段と、前記端末装置に前記輪郭を手動補正させる輪郭補正手段と、前記端末装置に前記輪郭の画像と合成する素材画像を選択させる素材画像選択手段と、前記補正された輪郭の画像と前記選択された素材画像とを画像合成する画像合成手段と、前記端末装置に前記画像合成の結果を出力する画像合成結果出力手段と、を具備することを特徴とする画像合成装置である。

画像合成装置は、端末装置から取得した顔画像等の画像から顔輪郭等の輪郭を自動認識し、端末装置に輪郭を手動補正させ、端末装置に輪郭の画像と合成する素材画像を選択させ、補正された輪郭の画像と選択された素材画像とを画像合成し、端末装置に画像合成の結果を出力する。端末装置は、合成画像の表示や印刷や保存を行う。
また、画像合成装置は、輪郭の適正度を算出し、当該輪郭の適正度に基づいて端末装置に輪郭の補正の要否を通知するようにしてもよい。
また、輪郭枠あるいは中心軸の位置や大きさを手動補正することにより、輪郭の補正を行うことができる。

画像合成装置は、顔画像等の画像に基づいて自動認識した輪郭枠及び中心軸等の輪郭が適正でない場合であっても、当該輪郭の位置や大きさを手動補正することができる。画像合成装置は、補正後の輪郭に基づいて顔輪郭画像等の合成用画像を抽出して画像合成に用いるので、所望の画像合成結果を得ることができ、画像合成の精度を向上させることができる。

第２の発明は、素材画像を保持する保持手段と、入力画像から輪郭を自動認識する輪郭算出手段と、前記輪郭を手動補正する輪郭補正手段と、前記輪郭の画像と合成する素材画像を選択する素材画像選択手段と、前記補正された輪郭の画像と前記選択された素材画像とを画像合成する画像合成手段と、前記画像合成の結果を出力する画像合成結果出力手段と、を具備することを特徴とする画像合成装置である。
第２の発明は、単体構成の画像合成装置に関する発明である。

第３の発明は、コンピュータを第１の発明または第２の発明の画像合成装置として機能させるプログラムである。
第４の発明は、コンピュータを第１の発明または第２の発明の画像合成装置として機能させるプログラムを記録したコンピュータ読取可能な記録媒体である。
上述のプログラムをＣＤ−ＲＯＭ等の記録媒体に保持させて流通させてもよいし、このプログラムを通信回線を介して送受することもできる。

本発明によれば、適正な合成用画像を取得して所望の画像合成結果を得ることができる画像合成装置を提供することができる。

以下、添付図面を参照しながら、画像合成装置の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

（１．画像合成システム１の構成）
最初に、図１を参照しながら、画像合成システム１の構成について説明する。
図１は、画像合成システム１の構成図である。
画像合成システム１は、画像合成装置３、複数の端末装置５がネットワーク７を介して接続されて構成される。

画像合成装置３は、サーバコンピュータ等である。画像合成装置３は、素材画像選択手段１１、画像合成手段１２、画像合成結果出力手段１３、顔画像選択手段１４、顔輪郭抽出手段１５、顔輪郭補正手段１６、素材画像４１を保持する記憶部２３を備える。

素材画像選択手段１１は、画像合成に用いる素材画像を選択する。画像合成手段１２は、顔輪郭画像と素材画像とを合成して合成画像を作成する。画像合成結果出力手段１３は、画像合成結果である合成画像を出力する。顔画像選択手段１４は、撮像や画像読込により顔画像を取得する。顔輪郭抽出手段１５は、顔画像から顔輪郭を示す輪郭枠や中心軸を自動認識することにより、画像合成用の顔輪郭画像を抽出する。顔輪郭補正手段１６は、顔輪郭を示す輪郭枠や中心軸を手動補正する。

端末装置５は、パーソナルコンピュータ等である。通常、複数の端末装置５がネットワーク７に接続される。
ネットワーク７は、インターネット、ローカルエリアネットワーク（ＬＡＮ）、社内ＬＡＮ等のネットワークであり、有線、無線を問わない。

（２．ハードウェア構成）
次に、図２及び図３を参照しながら、画像合成装置３及び端末装置５のハードウェア構成について説明する。

（２−１．画像合成装置３）
図２は、画像合成装置３のハードウェア構成図である。
尚、図２のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

画像合成装置３は、ＣＰＵ２１、メモリ２２、記憶部２３、表示部２４、入力部２５、出力部２６、通信部２７がシステムバス２８を介して接続されて構成される。

ＣＰＵ２１（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）は、演算処理（四則演算や比較演算等）やハードウェアやソフトウェアの動作制御を行う装置である。

メモリ２２は、ＲＡＭ及びＲＯＭ等のメモリである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や記憶部２３から読み出されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のプログラム、アプリケーションプログラム等を記憶する。ＲＡＭは、ＣＰＵ２１の主メモリやワークエリアとして機能する。

記憶部２３は、各種データを記憶する装置であり、例えば、ハードディスクである。記憶部２３は、ＣＰＵ２１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ、各種データベース等が格納される。

表示部２４は、表示装置であり、例えば、ＣＲＴモニタ、液晶パネルである。表示部２４は、コンピュータのビデオ機能を実現するための論理回路（ビデオアダプタ等）を有する。

入力部２５は、各種データの入力装置であり、例えば、キーボード、マウスである。出力部２６は、各種データの出力装置であり、例えば、プリンタである。各種メディアとのデータ入出力を行うドライブ装置を入力部２５及び出力部２６として用いることもできる。

通信部２７は、ネットワーク７を介して外部装置と接続・通信する通信制御装置である。例えば、ＴＣＰ／ＩＰを用いたインターネット通信が可能である。

システムバス２８は、各装置間の制御信号、データ信号等の授受を媒介する経路であり、例えば、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、ＡＧＰ（Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｐｈｉｃｓ Ｐｏｒｔ）バス、メモリバスである。

画像合成装置３は、記憶部２３やＲＯＭや記録媒体に格納されるプログラム（アプリケーションプログラム、ＯＳのプログラム等）をメモリ２２のＲＡＭにロードしてＣＰＵ２１の制御の下に、各種処理を実行する。

（２−２．端末装置５）
図３は、端末装置５のハードウェア構成図である。
尚、図３のハードウェア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。

端末装置５は、ＣＰＵ３１、メモリ３２、記憶部３３、表示部３４、入力部３５、出力部３６、通信部３７がシステムバス３８を介して接続されて構成される。
端末装置５のハードウェア構成は、図２を用いて前述した画像合成装置３と同様の構成を採る。
画像合成装置３は、記憶部３３やＲＯＭや記録媒体に格納されるプログラム（アプリケーションプログラム、ＯＳのプログラム等）をメモリ３２のＲＡＭにロードしてＣＰＵ３１の制御の下に、各種処理を実行する。

（３．画像合成装置３及び端末装置５が保持する情報）
（３−１．画像合成装置３が保持する情報）
次に、図４を参照しながら、画像合成装置３の記憶部２３が保持する情報について説明する。
図４は、画像合成装置３の記憶部２３が保持する情報を示す図である。

記憶部２３は、複数の素材画像４１、ＯＳ４８、アプリケーションプログラム４９が格納される。
素材画像４１は、画像合成に用いるテンプレート画像である。素材画像４１は、例えば、背景画像、ヘアスタイル画像、ドレス画像、ブーケ画像である。
ＯＳ４８（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）は、画像合成装置３の各構成部分を駆動制御するプログラムである。
アプリケーションプログラム４９は、画像合成装置３の動作を規定する実行プログラムである。

（３−２．端末装置５が保持する情報）
次に、図５を参照しながら、端末装置５の記憶部３３が保持する情報について説明する。
図５は、端末装置５の記憶部３３が保持する情報を示す図である。

記憶部３３は、少なくとも１つの顔画像５１、ＯＳ５８が格納される。
顔画像５１は、素材画像４１との画像合成に用いる画像である。顔画像５１は、例えば、端末装置５の操作者の顔を撮像した画像である。
ＯＳ５８（オペレーティングシステム）は、端末装置５の各構成部分を駆動制御するプログラムである。

（４．画像合成システム１の動作）
次に、図６〜図１４を参照しながら、画像合成システム１の動作について説明する。

図６は、画像合成システム１の動作を示すフローチャートである。
画像合成システム１は、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）技術を用いて実現されるものとして説明する。画像合成装置３は、Ｗｅｂサーバを搭載する。端末装置５はＷｅｂブラウザを搭載する。画像合成装置３と端末装置５とは、それぞれ、Ｗｅｂサーバ及びＷｅｂブラウザを介してデータの送受信を行う。

図７は、メイン画面６１を示す図である。
画像合成装置３のＣＰＵ２１は、メイン画面６１を端末装置５の表示部３４に表示させる（ステップ１００１）。

図８は、顔画像選択画面６４を示す図である。
画像合成装置３のＣＰＵ２１は、端末装置５の入力部３５を介してメイン画面６１のボタン６３（「顔画像選択」）が指定（例えば、マウスのクリック操作）されると、顔画像選択画面６４を端末装置５の表示部３４に表示させる。顔画像選択画面６４には、顔画像一覧６５が表示される。
端末装置５のＣＰＵ３１は、入力部３５を介して顔画像一覧６５から顔画像タイトル６７（「顔画像０２」）が選択されボタン６９（「読込」）が指定されると、該当する顔画像５１を記憶部３３から取り出し、画像合成装置３に送る（ステップ１００２）。

図９は、顔画像画面７１を示す図である。
画像合成装置３のＣＰＵ２１は、顔画像画面７１を端末装置５の表示部３４に表示させる。顔画像画面７１には、顔画像７３、輪郭枠７５、中心軸７７、顔輪郭適正度７９が表示される。画像合成装置３のＣＰＵ２１は、顔画像７３に基づいて、顔輪郭を示す輪郭枠７５及び中心軸７７を自動認識する（ステップ１００３）。画像合成装置３のＣＰＵ２１は、顔画像７３に対する輪郭枠７５及び中心軸７７の適正度を計算して顔輪郭適正度７９を算出する。

図１０は、顔輪郭補正を示す図である。
端末装置５の操作者は、顔輪郭を示す輪郭枠７５及び中心軸７７や顔輪郭適性度７９を確認する。端末装置５の操作者は、顔輪郭が適正でなく補正が必要と判断した場合（ステップ１００４のＮｏ）、端末装置５の入力部３５を介して輪郭枠７５及び中心軸７７の位置や大きさを補正する。例えば、端末装置５の操作者は、マウスのドラッグアンドドロップ操作により、矢印８１−１〜矢印８１−８方向に輪郭枠７５や中心軸７７を伸縮あるいは移動させる（ステップ１００５）。

図１１は、顔輪郭補正後の顔画像画面７１ａを示す図である。
顔画像画面７１ａには、補正後の輪郭枠７５ａ及び中心軸７７ａ及び顔輪郭適性度７９ａが表示される。端末装置５の操作者は、再度、顔画像画面７１ａに表示される輪郭枠７５ａ及び中心軸７７ａや顔輪郭適性度７９ａを確認する。端末装置５の操作者は、顔輪郭が適正であり補正が不要と判断した場合（ステップ１００４のＹｅｓ）、端末装置５の入力部３５を介してボタン８３（「保存」）を指定する。
画像合成装置３のＣＰＵ２１は、補正後の輪郭枠７５ａ及び中心軸７７ａ及び顔輪郭画像７８を記憶部２３に保持する。尚、顔輪郭画像７８は、輪郭枠７５ａの範囲内にある肌領域の画像である。

図１２は、顔輪郭補正後のメイン画面６１ａを示す図である。
画像合成装置３のＣＰＵ２１は、顔輪郭補正後、再び、メイン画面６１ａを端末装置５の表示部３４に表示させる。メイン画面６１ａには、選択した顔画像８４が表示される。
画像合成装置３のＣＰＵ２１は、端末装置５の入力部３５を介して分類８５及びカテゴリ８７が指定されると、該当する素材画像４１を記憶部２３から検索し、素材画像一覧８９を端末装置５の表示部３４に表示させる。
画像合成装置３のＣＰＵ２１は、端末装置５の入力部３５を介して素材画像一覧８９から素材画像９１が選択（例えば、マウスのダブルクリック操作）されると、選択素材画像一覧９３に選択素材画像９５を追加して、端末装置５の表示部３４に表示させる（ステップ１００６）。

尚、選択素材画像一覧９３には複数の選択素材画像９５を追加することができるが、分類８５毎に１つだけ選択素材画像９５を追加することができる。また、端末装置５の入力部３５を介して選択素材画像９５及びボタン９６（「削除」）を指定することにより、選択解除して選択素材画像一覧９３から選択素材画像９５を削除することができる。

画像合成装置３のＣＰＵ２１は、選択素材画像一覧９３の各選択素材画像９５と補正後の顔輪郭画像７８とを画像合成する（ステップ１００７）。
画像合成装置３のＣＰＵ２１は、画像合成結果９７を端末装置５の表示部３４に表示させる（ステップ１００８）。

図１３は、顔輪郭補正を行った顔輪郭画像１０３を用いた合成画像１０１を示す図である。
図１４は、顔輪郭補正を行わなかった顔輪郭画像１０９を用いた合成画像１０７を示す図である。
合成画像１０１では、顔輪郭画像１０３と素材画像１０５とが適正に画像合成される。一方、合成画像１０７では、顔輪郭画像１０９と素材画像１１１との間に位置ずれが生じ、適正に画像合成されない。

以上の過程を経て、画像合成システムは、顔画像に基づいて輪郭枠及び中心軸等の顔輪郭を自動認識し、手動操作で顔輪郭を補正した上で顔画像から顔輪郭画像を取得して保持する。画像合成システムは、選択した１つまたは複数の素材画像と顔輪郭補正後の顔輪郭画像とを画像合成して画像合成結果を表示する。

（５．効果等）
以上説明したように、本発明の実施の形態によれば、画像合成システムが顔画像に基づいて自動認識した輪郭枠及び中心軸等の顔輪郭が適正でない場合、当該顔輪郭の位置や大きさを手動補正することができる。画像合成システムは、顔輪郭補正後の顔輪郭に基づいて適正な顔輪郭画像を顔画像から抽出して画像合成に用いるので、所望の画像合成結果を得ることができ、画像合成の精度を向上させることができる。

尚、画像合成システムは、顔画像に対する輪郭枠及び中心軸等の顔輪郭の適正度を算出してもよい。画像合成システムは、顔輪郭適正度に基づいて、端末装置の操作者に対して補正の要否を通知するようにしてもよい。
また、上述の実施の形態では、合成用のテンプレートとして素材画像を用いるものとして説明したが、画像データのみならずテキストデータを合成用のテンプレートとして用いることもできる。
また、画像合成システムは、端末装置からネットワーク経由で画像合成装置の機能を利用するものとして説明したが、スタンドアロン構成として単体の画像合成装置により同様の機能を実現することもできる。

以上、添付図面を参照しながら、本発明に係る画像合成装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

画像合成システム１の構成図 画像合成装置３のハードウェア構成図 端末装置５のハードウェア構成図 画像合成装置３の記憶部２３が保持する情報を示す図 端末装置５の記憶部３３が保持する情報を示す図 画像合成システム１の動作を示すフローチャート メイン画面６１を示す図 顔画像選択画面６４を示す図 顔画像画面７１を示す図 顔輪郭補正を示す図 顔輪郭補正後の顔画像画面７１ａを示す図 メイン画面６１ａを示す図 顔輪郭補正を行った顔輪郭画像１０３を用いた合成画像１０１を示す図 顔輪郭補正を行わなかった顔輪郭画像１０９を用いた合成画像１０１を示す図

符号の説明

１………画像合成システム
３………画像合成装置
５………端末装置
７………ネットワーク
１１………素材画像選択手段
１２………画像合成手段
１３………画像合成結果出力手段
１４………顔画像選択手段
１５………顔輪郭抽出手段
１６………顔輪郭補正手段
２１、３１………ＣＰＵ
２３、３３………記憶部
２４、３４………表示部
２５、３５………入力部
４１………素材画像
５１………顔画像
６１、６１ａ………メイン画面
６４………顔画像選択画面
７１、７１ａ………顔画像画面
７３………顔画像
７５、７５ａ………輪郭枠
７７、７７ａ………中心軸
７８………顔輪郭画像
７９、７９ａ………顔輪郭適正度
８５………分類
８７………カテゴリ
８９………素材画像一覧
９１………素材画像
９３………選択素材画像一覧
９５………選択素材画像
９７………画像合成結果
１０１………合成画像（顔輪郭補正あり）
１０３………顔輪郭画像（顔輪郭補正あり）

Claims (10)

1. 少なくとも１つの端末装置にネットワークを介して接続され画像合成を行う画像合成装置であって、
   素材画像を保持する保持手段と、
   前記端末装置の入力画像から輪郭を自動認識する輪郭認識手段と、
   前記端末装置に前記輪郭を手動補正させる輪郭補正手段と、
   前記端末装置に前記輪郭の画像と合成する素材画像を選択させる素材画像選択手段と、
   前記補正された輪郭の画像と前記選択された素材画像とを画像合成する画像合成手段と、
   前記端末装置に前記画像合成の結果を出力する画像合成結果出力手段と、
   を具備することを特徴とする画像合成装置。
2. 前記輪郭の適正度を算出する輪郭適正度算出手段と、
   前記輪郭の適正度に基づいて前記端末装置に前記輪郭の補正の要否を通知する補正要否通知手段と、
   を具備することを特徴とする請求項１に記載の画像合成装置。
3. 前記輪郭補正手段は、輪郭枠あるいは中心軸を手動補正させることを特徴とする請求項１または請求項２に記載の画像合成装置。
4. 前記入力画像は顔画像であり、前記輪郭は顔輪郭であることを特徴とする請求項１から請求項３までのいずれかに記載の画像合成装置。
5. 素材画像を保持する保持手段と、
   入力画像から輪郭を自動認識する輪郭算出手段と、
   前記輪郭を手動補正する輪郭補正手段と、
   前記輪郭の画像と合成する素材画像を選択する素材画像選択手段と、
   前記補正された輪郭の画像と前記選択された素材画像とを画像合成する画像合成手段と、
   前記画像合成の結果を出力する画像合成結果出力手段と、
   を具備することを特徴とする画像合成装置。
6. 前記輪郭の適正度を算出する輪郭適正度算出手段と、
   前記輪郭の適正度に基づいて前記輪郭の補正の要否を通知する補正要否通知手段と、
   を具備することを特徴とする請求項５に記載の画像合成装置。
7. 前記輪郭補正手段は、輪郭枠あるいは中心軸を手動補正することを特徴とする請求項５または請求項６に記載の画像合成装置。
8. 前記入力画像は顔画像であり、前記輪郭は顔輪郭であることを特徴とする請求項５から請求項７までのいずれかに記載の画像合成装置。
9. コンピュータを請求項１から請求項８までのいずれかに記載の画像合成装置として機能させるプログラム。
10. コンピュータを請求項１から請求項８までのいずれかに記載の画像合成装置として機能させるプログラムを記録したコンピュータ読取可能な記録媒体。

Images