JP2004179845A

JP2004179845A - Image processing method and apparatus thereof

Info

Publication number: JP2004179845A
Application number: JP2002342072A
Authority: JP
Inventors: Takaaki Nishi; 隆暁西; Kazuyuki Imagawa; 和幸今川; Hideaki Matsuo; 英明松尾; Makoto Nishimura; 真西村; Kaoru Morita; かおる森田; Goji Yamamoto; 剛司山本
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-11-26
Filing date: 2002-11-26
Publication date: 2004-06-24

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing apparatus capable of attaching a various and amusing decoration to an input image while maintaining the balance of the entire decoration. <P>SOLUTION: The image processing apparatus is provided with: an image storage section 4 for storing an input image; a layout area setting section 7 for setting a layout area of the decoration in the input image; an area division section 9 for dividing the set layout area into a plurality of small areas satisfying a prescribed reference; a decoration layout setting section 10 setting the layout of the decoration in the small area; and an image composite section 11 for creating a composite image resulting from composing the decoration with the input image according to the set layout of the decoration. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像を用いる通信装置（例えば、テレビ電話、テレビ会議、ビデオメールあるいはビデオチャットのための装置やドアフォン等）に組み込まれる画像処理装置に関し、さらに詳しくは、人物画像（例えば、利用者の顔画像や全身画像など）を編集する画像処理装置に関するものである。
【０００２】
【従来の技術】
利用者を撮影した画像を、各種の印刷媒体に印刷して出力する遊戯機器がある。このものは、撮影した人物画像に、装飾（例えば、絵柄や模様など）のフレームを重ね合わせて合成し、印刷媒体（例えば、シールなど）に印刷して出力するようになっている。
【０００３】
このような遊戯機器は、それ自体において、人物画像と装飾との位置関係を調整する機能を持たない。したがって、利用者が、人物画像を、装飾フレーム内に収まるように配置しても、装飾が人物画像に重なり、顔部分や頭部分などが隠れてしまって、人物画像が不鮮明になることがあった。
【０００４】
特許文献１は、この点を考慮したものであり、装飾が、人物画像の身体部分、特に、その顔や頭に対応して設定された身体部分領域に、重ならないようにした上で、装飾を付加する技術を、提案している。
【０００５】
一方、最近、撮影した人物画像に、装飾フレームと重ね合わせて合成し、合成した画像を送信する機能を備えた、カメラ付き携帯電話が、実用化されている。送信者が、このようなカメラ付き携帯電話を使用すると、受信者は、送信者が編集した画像を見るという、楽しみを享受できる。
【特許文献１】
特開２０００−２２９２９号公報（第３−７頁）
【０００６】
【発明が解決しようとする課題】
ところで、特許文献１では、人物画像のうち、身体部分領域を除く領域を、装飾を配置すべき配置領域としている。そして、この配置領域内において、装飾の位置をランダムに定め、しかも装飾のサイズを変化させることを、提案している。
【０００７】
このようにすると、装飾の有り様は、事実上無限大とおり存在することになり、いわば、万華鏡の模様のように、装飾が千変万化し、面白さを向上できる。
【０００８】
しかしながら、このような取り扱いでは、ある箇所には、装飾が集中して塊が形成されるが、別の箇所では、全く装飾がないというように、しばしば装飾の偏りが発生する。こうなると、装飾全体のバランスあるいは美しさを、損なってしまう。
【０００９】
そこで本発明は、装飾全体としてのまとまりを損なわず、しかも変化に富んでおもしろい、装飾を入力画像に付加できる、画像処理方法及びその間連技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
請求項１記載の画像処理方法は、入力画像において、装飾の配置領域を設定するステップと、配置領域を、一定基準を満たす複数の小領域に分割するステップと、これらの小領域内における装飾の配置を設定するステップと、設定した装飾の配置に従って、入力画像に装飾を合成した合成画像を作成するステップとを含む。
【００１１】
この構成において、小領域内において、装飾を配置することにより、装飾全体としてのまとまりを維持することができる。しかも、小領域内で装飾の有り様を変化させることにより、面白い合成画像が得られる。
【００１２】
請求項２記載の画像処理方法では、これらの小領域は、矩形をなし、一定基準は、矩形の縦横比が１：２未満である。
【００１３】
この構成において、小領域を矩形とすることにより、取り扱いを容易にでき、このような一定基準を設けることにより、各小領域の相似的な形状が、過剰にばらつかないようにすることができる。
【００１４】
請求項３記載の画像処理装置では、小領域に配置される装飾の密度が、一様となるように、これらの小領域内における装飾の配置を設定する。
【００１５】
この構成により、装飾全体の配置バランスを、全体として、ほぼ均一にすることができる。
【００１６】
請求項４記載の画像処理方法では、小領域に配置される装飾の密度が、小領域毎に設定される重みに従うように、これらの小領域内における装飾の配置を設定する。
【００１７】
この構成により、重みによって、装飾全体の配置にメリハリを付けることができる。例えば、入力画像の上側の重みを小さくし、下側の重みを大きくすることにより、安定感のある配置とすることができる。
【００１８】
請求項５記載の画像処理方法は、入力画像において、装飾の配置領域を設定するステップと、装飾の配置を定める配置データを決定するステップと、決定した配置データに含まれ、かつ、配置領域内に含まれる、装飾の配置を修正するステップと、修正された配置に従って、入力画像に装飾を合成した合成画像を作成するステップとを含む。
【００１９】
この構成において、配置データに基づいて、装飾の配置を決定するため、装飾全体のまとまりを維持できる。しかも、これに修正を加えることにより、装飾の有り様を変化させ、面白みを向上できる。
【００２０】
請求項６記載の画像処理装置では、配置の修正量は、ランダムに定められる。
【００２１】
この構成により、装飾の有り様を千変万化させ、面白みを一層向上できる。
【００２２】
【発明の実施の形態】
以下図面を参照しながら、本発明の実施の形態を説明する。まず、具体的な構成の説明に先立って、重要な用語を解説する。
【００２３】
「人物画像」とは、人物の一部または全部の画像が含まれる画像である。従って、人物全体の画像でもよいし、人物の顔だけや後姿だけ、あるいは、上半身だけの画像であってもよい。また、複数の人物が写っている画像でもよい。勿論、背景に人物以外の風景や模様などのいかなるパターンがあっても良い。
【００２４】
「身体部分」とは、人物の身体の一部という意味であり、身体部分に服や帽子や靴を装着している皮膚が見えなくても、人物の身体の一部であることが認識可能な部分であれば、身体部分に含まれる。従って、顔も身体部分であるし、頭も身体部分である。さらに、目、鼻、口、耳、眉、髪、首、服を着た上半身、手、腕、足、靴を履いた脚、帽子を被った頭、めがねを掛けた目なども身体部分である。
【００２５】
「身体部分領域」とは、人物画像において、身体部分が占める領域として定められる領域のことであり、身体部分領域は、その内部に身体部分でない部分を含んでいてもよいし、身体部分の内部に位置する領域であってもよい。
【００２６】
すなわち、身体部分が顔であるとすると、身体部分領域は、顔に対応する身体部分領域が顔の周囲にある領域を含んでいてもよいし、両眼と口と鼻とを囲む最小サイズの長方形であって額や耳を含まないものであってもよい。
【００２７】
「装飾」とは、追加される画像パターンのことであり、この画像パターンは予め保持されている画像パターンであってもよいし、コンピュータグラフイックス技術で生成される画像パターンであってもよい。また、この画像パターンは、文字や記号のパターンや図形のパターンであってもよい。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置の機能ブロック図である。図１に示すように、本形態の画像処理装置は、次の構成要素を有する。
【００２９】
制御部１は、ＣＰＵ等からなり、図１に示す各要素を、図２のフローチャートに沿って、制御する。
【００３０】
画像入力部２は、入力画像を得る。入力画像は、静止画であってもよいし、動画像の１フレーム分の画像であってもよい。さらに、この入力画像は、カメラで撮影された直後のものでも良いし、撮影後、ＪＰＥＧやＭＰＥＧ等の符号化方式に従って符号化されたデータ（記録媒体に記録されたものをロードしても良いし、送信装置から受信したものでも良い。）を、復号して得られるものでも良い。
【００３１】
表示部１２は、表示デバイス等からなり、画像入力部２が入力し画像記憶部４に記憶された入力画像や、画像合成部１１が入力画像に装飾の画像を合成したものを表示する。
【００３２】
図１において、装飾情報記憶部２０は、装飾情報を記憶する。装飾情報は、装飾画像データと、サイズの情報と、基準点（例えば、中心点など）の装飾画像における位置とが、関連付けて構成される。装飾画像のデータは、ラスタ画像であってもよいし、ベクトル画像でもよい。本例では、この装飾情報には、星形の装飾画像が含まれ、これが、ユーザにより、選択されるものとする。
【００３３】
操作部３は、ユーザからの入力情報を、受け付けるためのものである。特に、ユーザは、操作部３を用いて、装飾情報記憶部２０に記憶されている装飾の情報のうち、ユーザが、どの装飾に関するものを使用するかという情報を入力する。画像記憶部４は、画像入力部２が入力した、入力画像を記憶する。
【００３４】
テンプレート記憶部５は、身体部分領域のテンプレートを記憶する。以下、本形態では、顔領域を身体部分領域として取り上げる。しかし、手等他の身体部分領域についても、同様に適用できる。
【００３５】
テンプレートは、図３（ａ）、（ｂ）、（ｃ）に示すように、顔部品（頭、目、鼻、口）のそれぞれの輪郭をモデル化したものを、各種サイズ分だけ用意して使用する。
【００３６】
図１において、顔検出部６は、テンプレート記憶部５のテンプレートを用いて、画像記憶部４に記憶された入力画像から、顔領域の位置及びサイズを検出する。
【００３７】
ここで、図４に示しているように、顔検出部６は、画像記憶部４の入力画像に微分フィルタをかけて、エッジ成分を抽出する。また、顔検出部６は、テンプレート記憶部５からテンプレート５３を選び、選んだテンプレート５３と、エッジ成分とを用いて、パターンマッチマッチングを実行する。
【００３８】
このパターンマッチングは、テンプレート５３（Ｎｘ＊Ｎｙ画素）を、それより大きい入力画像（Ｍｘ＊Ｍｙ画素）内の探索範囲（Ｍｘ−Ｎｘ＋１）（Ｍｙ−Ｎｙ＋１）上で動かし、次式に示す残差Ｒが、最小となるようなテンプレート画像の左上位置（ａ，ｂ）を求める処理である。
【数１】

【００３９】
但し、（数１）において、Ｉ（ａ，ｂ）（ｍｘ，ｍｙ）は入力画像の部分画像、Ｔ（ｍｘ，ｍｙ）はテンプレート５３の画像である。
【００４０】
また、（数１）に替えて、次式で示す相互相関係数Ｃを求め、相互相関係数Ｃが最大になる、テンプレート画像の左上位置（ａ，ｂ）を求めてもよい。

【００４１】
顔検出部６は、図３に示すテンプレートを使用し、（数１）を用いるときは残差Ｒが最小となるテンプレート、（数２）を用いるときは、相関係数Ｃが最大となるテンプレートを求める。そして、顔検出部６は、求めたテンプレートの、位置及びサイズを、入力画像における顔領域の、それぞれの位置及びサイズとする。
【００４２】
顔検出部６は、顔領域の位置及びサイズを求めると、その結果を、図１の配置領域設定部７に出力する。図５（ａ）は、顔検出部６の顔領域検出結果を図示したものである。入力画像２１について、顔領域２２が検出されている。
【００４３】
配置領域設定部７は、入力画像２１のうち、顔領域２２を除く領域（斜線部）を、装飾の配置領域に設定する。配置領域設定部７は、この設定結果を配置領域記憶部８に格納する。
【００４４】
領域分割部９は、配置領域記憶部８に格納された配置領域を、矩形をなす小領域で、それぞれの縦横比が１：２未満であるという、一定基準を満たすものに、分割する。この分割の過程を、図５（ｂ）、（ｃ）を用いて説明する。
【００４５】
図５（ａ）の状態では、配置領域は、未だ分割されておらず、門型をなしている。そこで、領域分割部９は、門型の配置領域を、小領域２３〜２５に分割する。このとき、全ての小領域２３〜２５が、一定基準を満たしていれば、領域分割部９は、その時点で分割を終了する。
【００４６】
しかしながら、図５（ｂ）の状態では、小領域２３〜２５は、いずれも一定基準を満たしていない。そこで、領域分割部９は、各小領域２３〜２５について、分割と一定基準のチェックを、繰り返し実施する。
【００４７】
その結果、本例では、図５（ｃ）に示すように、配置領域は、小領域２６〜３５に分割された。領域分割部９は、これらの小領域２６〜３５の情報を、配置領域記憶部８に格納する。
【００４８】
図１において、装飾配置設定部１０は、これらの小領域内における、装飾の配置を設定する。ここでは、装飾配置設定部１０は、各小領域２６〜３５に配置される、装飾の密度（単位面積あたりの装飾の個数）が一様になるようにする。但し、各小領域２６〜３５内における、装飾の位置は、ランダムに決定される。その結果は、例えば、図５（ｄ）に示すようになる。
【００４９】
ここで、比較的広い小領域３０、３１では、２個の装飾が付加されているが、比較的狭い小領域２７、２８、．．．では、１個の装飾しか付加されていない点に注目されたい。
【００５０】
また、図１において、画像合成部１１は、図５（ｅ）に示すように、装飾配置設定部１０が定めた装飾の配置に従って、入力画像に装飾を追加した、合成画像を作成する。
【００５１】
ところで、以上において、図６（ａ）に示すようにすることもできる。即ち、装飾配置設定部１０は、小領域に配置される装飾の密度が、小領域２６〜３５毎に設定される、重みに従うようにする。図６（ａ）の例では、下部の小領域２６、２７、３４、３５の重みを大きくし、上部の小領域２８〜３３の重みを小さくしてある。その結果、小領域３３と小領域３４とを比較すれば明らかなように、ほぼ同じ面積を持つにもかかわらず、付加される装飾の個数が異なっている点が理解されよう。なお、図示した例では、重みが大きいほど多数の装飾を付加するようにしたが、この関係は、逆にしても差し支えない。
【００５２】
次に、図２を用いて、本形態の画像処理装置における、処理の流れを説明する。まず、ステップ１にて、顔検出部６が入力画像について顔検出を行い、検出された顔領域が領域分割部９に出力される。
【００５３】
そして、ステップ３にて、配置領域設定部７が顔領域を除く領域を、配置領域とし、結果が配置領域記憶部８に格納される。またステップ４にて、領域分割部９が、配置領域を、上述した要領で、複数の小領域に分割し、ステップ５にて、装飾配置設定部１０が各小領域毎に、付加する装飾の個数及び位置を定める。
【００５４】
以上の処理が完了したら、ステップ６にて、画像合成部１１が、入力画像に、装飾を追加した合成画像を作成し、表示部１２にその表示がなされる（ステップ７）。
【００５５】
（実施の形態２）
次に、本発明の実施の形態２について、説明する。図７は、本発明の実施の形態２における画像処理装置の機能ブロック図である。図中、実施の形態１と同様の構成要素については、同一符号を付すことにより、説明を省略する。
【００５６】
図７において、配置データ記憶部１３は、入力画像における、装飾の配置を定める、配置データを記憶する。この配置データとしては、図９（ｂ）に示す（○印は、装飾の位置を示す）ように、互いに装飾が重ならず、かといって、適当にばらけているものが望ましい。
【００５７】
本形態では、配置データは、複数とおり、配置データ記憶部１３に静的に保持されており、この中から、適宜選択するようにした。しかしながら、配置データを、動的に生成するようにしてもよい。
【００５８】
配置データ修正部１４は、配置データ記憶部１３の配置データの中から、選ばれたものに対して、ランダムに修正を加える。具体的には、図９（ｃ）に示すように、装飾の各位置について、ランダムな修正ベクトルｖを加える。修正後の配置データは、例えば、図９（ｄ）のようになる。ここで、配置データが、有限後しか存在しない場合であっても、修正量をランダムに決定することによって、修正後の配置データは、事実上無限大とおり存在することになり、装飾の位置は、千変万化する。
【００５９】
領域内外判定部１５は、図９（ｄ）に示すように、配置データにおける各修飾の位置について、配置領域内（顔領域２２外）にある（例：位置４２）のか、あるいは、そうでない（例：位置４１）のかを、判定する。
【００６０】
以上のように構成された、実施の形態２における画像処理装置について、以下、図８、図９を用いて、処理の流れを説明する。
【００６１】
まず、図８のステップ１１〜ステップ１３は、実施の形態１（図２のステップ１〜ステップ３）と同様である。
【００６２】
次に、ステップ１４にて、制御部１は、配置データ記憶部１３にある、複数の配置データから、ランダムに１つの配置データを選び、選ばれた配置データの各位置について、配置データ修正部１４が修正を加える。
【００６３】
そして、ステップ１６〜ステップ１８において、領域内外判定部１５が、修正された各位置について、配置領域外にあるものを、削除する。その結果、図９（ｅ）に示すように、装飾の位置が決定される。
【００６４】
以降、実施の形態１と同様に、画像合成部１１が画像合成し（ステップ２０）、図９（ｆ）のような、表示がおこなれる（ステップ２１）。
【００６５】
【発明の効果】
本発明によれば、装飾全体のまとまりを維持し、しかも、変化に富んで楽しい、装飾を入力画像に付加できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理装置の機能ブロック図
【図２】同画像処理装置のフローチャート
【図３】（ａ）同テンプレートの例示図
（ｂ）同テンプレートの例示図
（ｃ）同テンプレートの例示図
【図４】同パターンマッチングの説明図
【図５】（ａ）同過程説明図
（ｂ）同過程説明図
（ｃ）同過程説明図
（ｄ）同過程説明図
（ｅ）同過程説明図
【図６】（ａ）同過程説明図
（ｂ）同過程説明図
【図７】本発明の実施の形態２における画像処理装置の機能ブロック図
【図８】同画像処理装置のフローチャート
【図９】（ａ）同過程説明図
（ｂ）同過程説明図
（ｃ）同過程説明図
（ｄ）同過程説明図
（ｅ）同過程説明図
（ｆ）同過程説明図
【符号の説明】
１制御部
２画像入力部
３操作部
４画像記憶部
５テンプレート記憶部
６顔検出部
７配置領域設定部
８配置領域記憶部
９領域分割部
１０装飾配置設定部
１１画像合成部
１２表示部
１３配置データ記憶部
１４配置データ修正部
１５領域内外判定部
２０装飾情報記憶部
２１入力画像
２２顔領域[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing device incorporated in a communication device using an image (for example, a device for videophone, video conference, video mail or video chat, a door phone, and the like), and more particularly, to a person image (for example, a user). And an image processing apparatus for editing a face image, a whole body image, and the like.
[0002]
[Prior art]
There are amusement machines that print an image of a user on various print media and output the image. In this type, a frame of a decoration (for example, a pattern or a pattern) is superimposed on a photographed human image, synthesized, printed on a printing medium (for example, a sticker), and output.
[0003]
Such a game machine does not have a function of adjusting the positional relationship between a person image and a decoration by itself. Therefore, even if the user arranges the portrait image so that it fits within the decoration frame, the decoration may overlap the portrait image, and the face and head portions may be hidden, and the portrait image may be unclear. Was.
[0004]
Patent Literature 1 considers this point, and does not overlap a decoration with a body part of a person image, particularly, a body part region set corresponding to the face or head of the person image. Is proposed.
[0005]
On the other hand, recently, a camera-equipped mobile phone having a function of superimposing a decorative image on a captured human image with a decorative frame and transmitting the synthesized image has been put into practical use. When the sender uses such a camera-equipped mobile phone, the receiver can enjoy the enjoyment of viewing the image edited by the sender.
[Patent Document 1]
JP-A-2000-22929 (pages 3-7)
[0006]
[Problems to be solved by the invention]
By the way, in Patent Literature 1, an area excluding a body part area in a person image is set as an arrangement area where a decoration is to be arranged. Then, it has been proposed that the position of the decoration is randomly determined in this arrangement area and the size of the decoration is changed.
[0007]
In this way, the decoration can be virtually infinite, and the decoration can be changed into various shapes like a kaleidoscope pattern, and the fun can be improved.
[0008]
However, in such handling, decoration is concentrated in one place, and a lump is formed, while in another place, decoration is often biased such that there is no decoration at all. This impairs the balance or beauty of the overall decoration.
[0009]
Therefore, an object of the present invention is to provide an image processing method and an interlinking technique thereof that can add a decoration to an input image without losing the unity of the decoration as a whole, and which can be varied and interesting to an input image.
[0010]
[Means for Solving the Problems]
The image processing method according to claim 1, wherein, in the input image, a step of setting an arrangement area of the decoration, a step of dividing the arrangement area into a plurality of small areas satisfying a predetermined criterion, The method includes a step of setting the arrangement and a step of creating a composite image in which the decoration is combined with the input image according to the set decoration arrangement.
[0011]
In this configuration, by arranging the decoration in the small area, it is possible to maintain the unity of the entire decoration. Moreover, by changing the state of the decoration in the small area, an interesting composite image can be obtained.
[0012]
In the image processing method according to the second aspect, these small regions form a rectangle, and the predetermined standard is that the aspect ratio of the rectangle is less than 1: 2.
[0013]
In this configuration, by making the small area rectangular, handling can be facilitated, and by providing such a fixed reference, the similar shape of each small area can be prevented from excessively varying. .
[0014]
In the image processing apparatus according to the third aspect, the arrangement of the decorations in the small areas is set such that the density of the decorations arranged in the small areas is uniform.
[0015]
With this configuration, the arrangement balance of the entire decoration can be made substantially uniform as a whole.
[0016]
In the image processing method according to the fourth aspect, the arrangement of the decorations in the small areas is set such that the density of the decorations arranged in the small areas follows the weight set for each of the small areas.
[0017]
With this configuration, the arrangement of the entire decoration can be sharpened by the weight. For example, by making the upper weight of the input image smaller and increasing the lower weight of the input image, an arrangement having a sense of stability can be obtained.
[0018]
An image processing method according to claim 5, wherein in the input image, a step of setting an arrangement area of the decoration, a step of determining arrangement data for determining the arrangement of the decoration, and the step of determining the arrangement data included in the determined arrangement data, And a step of creating a composite image in which the decoration is combined with the input image according to the corrected arrangement.
[0019]
In this configuration, the arrangement of the decoration is determined based on the arrangement data, so that the entire decoration can be kept together. Moreover, by modifying this, the appearance of the decoration can be changed and the fun can be improved.
[0020]
In the image processing apparatus according to the sixth aspect, the correction amount of the arrangement is determined at random.
[0021]
With this configuration, the appearance of the decoration can be changed completely, and the fun can be further improved.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. First, important terms will be described prior to the description of a specific configuration.
[0023]
The “person image” is an image including an image of a part or all of a person. Therefore, the image may be an image of the entire person, an image of only the person's face or back, or an image of only the upper body. Further, an image in which a plurality of persons are shown may be used. Of course, any pattern such as a landscape or pattern other than a person may be present in the background.
[0024]
"Body part" means a part of a person's body, and can be recognized as a part of a person's body even if the skin wearing clothes, hats and shoes is not visible on the body part Is included in the body part. Thus, the face is also a body part, and the head is also a body part. In addition, eyes, nose, mouth, ears, eyebrows, hair, neck, dressed upper body, hands, arms, legs, legs with shoes, head with hat, eyes with glasses, etc. is there.
[0025]
The "body part region" is a region defined as a region occupied by a body part in a person image, and the body part region may include a part that is not a body part therein, or may include a part inside the body part. Area.
[0026]
That is, assuming that the body part is a face, the body part region may include a region where the body part region corresponding to the face is around the face, or the minimum size surrounding the eyes, mouth, and nose. It may be a rectangle that does not include the forehead or ears.
[0027]
“Decoration” refers to an image pattern to be added, and this image pattern may be an image pattern stored in advance or an image pattern generated by computer graphics technology. The image pattern may be a character or symbol pattern or a graphic pattern.
[0028]
(Embodiment 1)
FIG. 1 is a functional block diagram of the image processing apparatus according to Embodiment 1 of the present invention. As shown in FIG. 1, the image processing apparatus according to the present embodiment has the following components.
[0029]
The control unit 1 includes a CPU and the like, and controls each element shown in FIG. 1 according to the flowchart of FIG.
[0030]
The image input unit 2 obtains an input image. The input image may be a still image or an image for one frame of a moving image. Further, the input image may be an image immediately after being photographed by the camera, or after photographing, data encoded in accordance with an encoding method such as JPEG or MPEG (an image recorded on a recording medium may be loaded). However, it may be one obtained by decoding the data received from the transmission device.)
[0031]
The display unit 12 includes a display device or the like, and displays an input image input by the image input unit 2 and stored in the image storage unit 4 or an image obtained by combining the decoration image with the input image by the image combining unit 11.
[0032]
In FIG. 1, the decoration information storage unit 20 stores decoration information. The decoration information is configured by associating decoration image data, size information, and a position of a reference point (for example, a center point) in the decoration image. The data of the decoration image may be a raster image or a vector image. In this example, it is assumed that the decoration information includes a star-shaped decoration image, which is selected by the user.
[0033]
The operation unit 3 is for receiving input information from a user. In particular, the user uses the operation unit 3 to input information about which decoration the user uses from among the decoration information stored in the decoration information storage unit 20. The image storage unit 4 stores the input image input by the image input unit 2.
[0034]
The template storage unit 5 stores a template of the body part region. Hereinafter, in the present embodiment, the face area is taken as the body part area. However, the same applies to other body part regions such as hands.
[0035]
As shown in FIGS. 3 (a), (b) and (c), templates are prepared by modeling contours of face parts (head, eyes, nose, mouth) in various sizes. use.
[0036]
In FIG. 1, the face detection unit 6 detects the position and size of the face area from the input image stored in the image storage unit 4 using the template in the template storage unit 5.
[0037]
Here, as shown in FIG. 4, the face detection unit 6 applies a differential filter to the input image of the image storage unit 4 to extract an edge component. In addition, the face detection unit 6 selects the template 53 from the template storage unit 5, and performs pattern matching using the selected template 53 and the edge component.
[0038]
In this pattern matching, the template 53 (Nx * Ny pixels) is moved on the search range (Mx-Nx + 1) (My-Ny + 1) in the larger input image (Mx * My pixels), and the residual This is a process for obtaining the upper left position (a, b) of the template image such that R is minimized.
(Equation 1)

[0039]
However, in (Equation 1), I (a, b) (mx, my) is a partial image of the input image, and T (mx, my) is an image of the template 53.
[0040]
Further, instead of (Equation 1), the cross-correlation coefficient C represented by the following equation may be obtained, and the upper left position (a, b) of the template image at which the cross-correlation coefficient C becomes maximum may be obtained.

[0041]
The face detection unit 6 uses the template shown in FIG. 3, the template with the smallest residual R when using (Equation 1), and the template with the largest correlation coefficient C when using (Equation 2). Ask for. Then, the face detection unit 6 sets the obtained position and size of the template as the position and size of the face area in the input image.
[0042]
After obtaining the position and size of the face area, the face detection unit 6 outputs the result to the arrangement area setting unit 7 in FIG. FIG. 5A illustrates a face area detection result of the face detection unit 6. A face area 22 has been detected for the input image 21.
[0043]
The arrangement area setting unit 7 sets an area (shaded area) other than the face area 22 in the input image 21 as an arrangement area of the decoration. The arrangement area setting unit 7 stores this setting result in the arrangement area storage unit 8.
[0044]
The area dividing unit 9 divides the arrangement area stored in the arrangement area storage unit 8 into small rectangular areas, each of which satisfies a certain criterion that each aspect ratio is less than 1: 2. The process of this division will be described with reference to FIGS.
[0045]
In the state of FIG. 5A, the arrangement area has not been divided yet and has a gate shape. Therefore, the region dividing unit 9 divides the gate-shaped arrangement region into small regions 23 to 25. At this time, if all of the small regions 23 to 25 satisfy the predetermined criterion, the region dividing unit 9 ends the division at that time.
[0046]
However, in the state of FIG. 5B, none of the small regions 23 to 25 satisfy the certain standard. Therefore, the area dividing unit 9 repeatedly executes the division and the check based on a certain standard for each of the small areas 23 to 25.
[0047]
As a result, in this example, as shown in FIG. 5C, the arrangement area was divided into small areas 26 to 35. The area dividing unit 9 stores information on these small areas 26 to 35 in the arrangement area storage unit 8.
[0048]
In FIG. 1, the decoration arrangement setting unit 10 sets the arrangement of decorations in these small areas. Here, the decoration arrangement setting unit 10 makes the density of decorations (the number of decorations per unit area) arranged in each of the small areas 26 to 35 uniform. However, the position of the decoration in each of the small areas 26 to 35 is determined at random. The result is, for example, as shown in FIG.
[0049]
Here, in the relatively large

small areas

30, 31, two decorations are added, but the relatively small

small areas

27, 28,. . . Note that only one decoration is added.
[0050]
In FIG. 1, the image combining unit 11 creates a combined image in which decorations are added to the input image according to the decoration arrangement determined by the decoration arrangement setting unit 10, as shown in FIG.
[0051]
By the way, in the above, it is also possible to make it as shown in FIG. That is, the decoration arrangement setting unit 10 sets the density of the decorations arranged in the small areas according to the weight set for each of the small areas 26 to 35. In the example of FIG. 6A, the weight of the lower

small areas

26, 27, 34, and 35 is increased, and the weight of the upper small areas 28 to 33 is reduced. As a result, as apparent from comparison between the small region 33 and the small region 34, it can be understood that the number of decorations to be added is different even though they have substantially the same area. In the illustrated example, the greater the weight, the more decorations are added. However, the relationship may be reversed.
[0052]
Next, the flow of processing in the image processing apparatus according to the present embodiment will be described with reference to FIG. First, in step 1, the face detection unit 6 performs face detection on the input image, and the detected face area is output to the area division unit 9.
[0053]
Then, in step 3, the arrangement area setting unit 7 sets the area excluding the face area as the arrangement area, and stores the result in the arrangement area storage unit 8. Further, in step 4, the area dividing section 9 divides the arrangement area into a plurality of small areas in the manner described above, and in step 5, the decoration arrangement setting section 10 adds the decoration to be added to each small area. Determine the number and position.
[0054]
When the above processing is completed, in step 6, the image combining unit 11 creates a combined image in which decoration is added to the input image, and displays the combined image on the display unit 12 (step 7).
[0055]
(Embodiment 2)
Next, a second embodiment of the present invention will be described. FIG. 7 is a functional block diagram of an image processing device according to Embodiment 2 of the present invention. In the figure, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
[0056]
7, the arrangement data storage unit 13 stores arrangement data for determining the arrangement of decorations in an input image. As the arrangement data, as shown in FIG. 9B (circles indicate the positions of the decorations), it is desirable that the decorations do not overlap each other, but rather are appropriately separated.
[0057]
In this embodiment, a plurality of arrangement data are statically held in the arrangement data storage unit 13 and are appropriately selected from the plurality. However, the arrangement data may be dynamically generated.
[0058]
The arrangement data correction unit 14 randomly corrects selected arrangement data from the arrangement data in the arrangement data storage unit 13. Specifically, as shown in FIG. 9C, a random correction vector v is added to each position of the decoration. The modified arrangement data is, for example, as shown in FIG. Here, even if the arrangement data exists only after a finite period, by determining the correction amount at random, the arrangement data after the modification exists as virtually infinite, and the position of the decoration is , Change everywhere.
[0059]
As shown in FIG. 9D, the area inside / outside determination unit 15 determines whether each modification position in the arrangement data is inside the arrangement area (outside the face area 22) (eg, position 42) or not ( Example: It is determined whether the position is 41).
[0060]
The processing flow of the image processing apparatus according to the second embodiment configured as described above will be described below with reference to FIGS.
[0061]
First, steps 11 to 13 in FIG. 8 are the same as those in the first embodiment (steps 1 to 3 in FIG. 2).
[0062]
Next, in step 14, the control unit 1 randomly selects one arrangement data from the plurality of arrangement data in the arrangement data storage unit 13, and, for each position of the selected arrangement data, the arrangement data correction unit. 14 makes corrections.
[0063]
Then, in Steps 16 to 18, the area inside / outside determination unit 15 deletes the corrected positions outside the arrangement area. As a result, the position of the decoration is determined as shown in FIG.
[0064]
Thereafter, as in the first embodiment, the image synthesizing unit 11 synthesizes images (step 20), and a display as shown in FIG. 9F is performed (step 21).
[0065]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, the decoration of the whole decoration can be maintained and the decoration which is full of change and fun can be added to an input image.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of an image processing apparatus according to a first embodiment of the present invention; FIG. 2 is a flowchart of the image processing apparatus; FIG. c) Illustrative view of the template. FIG. 4 is an explanatory view of the pattern matching. FIG. 5 is an explanatory view of the same process (b) an explanatory view of the same process (c) an explanatory view of the same process (d) an explanatory view of the same process ( e) Process explanatory diagram FIG. 6 (a) Process explanatory diagram (b) Process explanatory diagram FIG. 7 is a functional block diagram of an image processing apparatus according to Embodiment 2 of the present invention. Flowchart of the apparatus [FIG. 9] (a) The same process explanatory diagram (b) The same process explanatory diagram (c) The same process explanatory diagram (d) The same process explanatory diagram (e) The same process explanatory diagram (f) The same process explanatory diagram [ Explanation of code]
Reference Signs List 1 control unit 2 image input unit 3 operation unit 4 image storage unit 5 template storage unit 6 face detection unit 7 arrangement area setting unit 8 arrangement area storage unit 9 area division unit 10 decoration arrangement setting unit 11 image synthesis unit 12 display unit 13 arrangement Data storage unit 14 Arrangement data correction unit 15 Area inside / outside determination unit 20 Decoration information storage unit 21 Input image 22 Face area

Claims

Setting a decoration arrangement area in the input image;
Dividing the placement area into a plurality of small areas satisfying a certain criterion;
Setting the arrangement of the decorations in these small areas;
Creating a composite image in which the decoration is combined with the input image in accordance with the set arrangement of the decoration.

The image processing method according to claim 1, wherein the small areas form a rectangle, and the fixed criterion is that the aspect ratio of the rectangle is less than 1: 2.

3. The image processing method according to claim 1, wherein the arrangement of the decorations in the small areas is set such that the density of the decorations arranged in the small areas is uniform.

3. The image processing method according to claim 1, wherein the arrangement of the decorations in the small areas is set such that the density of the decorations arranged in the small areas follows the weight set for each of the small areas.

Setting a decoration arrangement area in the input image;
Determining placement data that determines the placement of the decoration;
Correcting the arrangement of the decoration included in the determined arrangement data and included in the arrangement area;
Creating a composite image in which the decoration is combined with the input image according to the corrected arrangement.

The image processing method according to claim 5, wherein the correction amount of the arrangement is determined at random.

An image storage unit that stores the input image;
An arrangement area setting unit for setting an arrangement area of a decoration in the input image;
An area dividing unit that divides the set arrangement area into a plurality of small areas that satisfy a certain criterion,
A decoration arrangement setting unit for setting the arrangement of decorations in these small areas,
An image processing apparatus, comprising: an image combining unit that creates a combined image in which a decoration is combined with an input image according to a set decoration arrangement.

A face detection unit that detects a face area from the input image stored in the image storage unit,
The image processing device according to claim 7, wherein the arrangement area setting unit sets an area that is not a face area in the input image as a decoration arrangement area.

The image processing apparatus according to claim 7, wherein the small areas form a rectangle, and a predetermined standard is that the aspect ratio of the rectangle is less than 1: 2.

The image processing apparatus according to claim 7, wherein the decoration arrangement setting unit sets the arrangement of the decorations in the small areas so that the density of the decorations arranged in the small areas is uniform.

The said decoration arrangement setting part sets the arrangement | positioning of the decoration in these small areas so that the density of the decoration arrange | positioned in a small area may follow the weight set for every small area. Image processing device.

An image storage unit that stores the input image;
An arrangement area setting unit for setting an arrangement area of a decoration in the input image;
An arrangement data storage unit for storing arrangement data for determining the arrangement of decorations in the input image;
An arrangement data correction unit that corrects the arrangement of the decoration, included in the arrangement data of the arrangement data storage unit, and included in the arrangement area set by the arrangement area setting unit;
An image processing apparatus, comprising: an image combining unit that creates a combined image in which decoration is combined with an input image in accordance with the arrangement corrected by the arrangement data correcting unit.

The image processing apparatus according to claim 12, wherein the arrangement data correction unit determines an amount of modification of the arrangement at random.

A face detection unit that detects a face area from the input image stored in the image storage unit,
14. The image processing device according to claim 12, wherein the arrangement area setting unit sets an area that is not a face area in the input image as a decoration arrangement area.