JP2005327043A - 画像レイアウト装置、画像レイアウト方法、画像レイアウトプログラムおよび記録媒体 - Google Patents

Abstract

【課題】 人物の顔画像のような生体の画像を、その生体の属性に従いレイアウトを決定する手法を開示する。
【解決手段】 属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウト装置は、画像を記憶する画像記憶手段と、当該オブジェクトを少なくとも一つ以上含む画像を取り込む画像入力手段と、当該画像の中から当該オブジェクトを検出するオブジェクト検出手段と、当該オブジェクトから生体の個体を特定する個体特定手段と、当該オブジェクトに属性を関連付ける属性関連付け手段と、当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定手段と、当該レイアウトが示す当該属性と略一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置手段とを備える。
【選択図】 図１

Description

本発明は、人物の顔のような生体の画像を、その生体の属性によってレイアウトするための画像レイアウト装置に関するものである。

従来、画像等の情報をレイアウトして印刷する場合、下記の特許文献１に記載のように、印刷する情報の属性より、印刷時の拡大、縮小の許容属性を検索し、その属性内で最適なレイアウトを決定していた。

特開２０００−３５７０７０

しかしながら、特許文献１記載の発明にあっては、人物の顔画像のような生体の画像を、その生体の属性に従いレイアウトを決定するような手法は開示されていなかった。

上記した課題を解決するために、本発明の画像レイアウト装置は、属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウト装置であって、画像を記憶する画像記憶手段と、当該オブジェクトを少なくとも一つ以上含む当該画像を取り込む画像入力手段と、当該画像の中から当該オブジェクトを検出するオブジェクト検出手段と、当該オブジェクトから生体の個体を特定する個体特定手段と、当該オブジェクトに属性を関連付ける属性関連付け手段と、当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定手段と、当該レイアウトが示す当該属性と一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置手段とを備えることを特徴とする。

上記構成によれば、生体のオブジェクトを含む画像から、オブジェクト検出手段により、生体のオブジェクトを検出し、個体特定手段により、検出した生体の個体を特定する。そして、属性関連付け手段により、個体を特定した生体に属性を関連付けることで、属性に基づいて生体を配置するレイアウトが可能となるため、属性により特定のオブジェクトを配置した画像を得ることができ、従来に比べて、演出効果の高い生体の配置画像が得られる。

上記した本発明の画像レイアウト装置では、前記生体のオブジェクトは、人物の顔であることが好ましい。

また、上記した本発明の画像レイアウト装置では、前記属性は、人物に関する属性であることが好ましい。

更に、上記した本発明の画像レイアウト装置では、前記人物に関する属性は、生物的な属性および社会的な属性等のうち、少なくとも１つ以上を含むことが好ましい。

上記構成によれば、人物の顔の画像からその人物を特定し、特定した人物の属性に応じて配置された画像を得ることができ、演出効果の高い人物の顔の配置画像が得られる。

上記した本発明の画像レイアウト装置では、前記画像レイアウト装置は、前記オブジェクトの属性を入力する属性入力手段を更に備えることが好ましい。

上記構成によれば、属性を入力する属性入力手段を備えるため、属性の追加および修正ができ、属性の拡張性が向上する。

上記した本発明の画像レイアウト装置では、前記画像レイアウト装置は、前記オブジェクトが前記レイアウトに配置されるルールを、前記属性に基づいて作製するレイアウトのルール入力手段を更に備えることが好ましい。

上記構成によれば、レイアウトのルールを入力するルール入力手段を備えるため、ルールの追加および修正ができ、レイアウトの意図を多様に作成できる。

本発明の画像レイアウト方法では、属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウト方法であって、当該オブジェクトを少なくとも一つ以上含む画像を取り込む画像入力工程と、当該画像入力工程で取り込んだ当該画像の中から当該オブジェクトを検出するオブジェクト検出工程と、当該オブジェクト検出工程で検出した当該オブジェクトから生体の個体を特定する個体特定工程と、当該個体特定工程で個体を特定したオブジェクトに対して、当該属性を関連付ける属性関連付け工程と、当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定工程と、当該レイアウト決定工程で決めた当該レイアウトが示す当該属性と略一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置工程とを備えることを特徴とする。

上記方法によれば、請求項１の画像レイアウト装置と同等の効果が得られる。

また、本発明は画像レイアウトプログラムおよびそのプログラムを記録した記録媒体として捉えることもできる。すなわち、属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウトプログラムであって、当該オブジェクトを少なくとも一つ以上含む画像を取り込む画像入力ステップと、当該画像の中から当該オブジェクトを検出するオブジェクト検出ステップと、当該オブジェクトから生体の個体を特定する個体特定ステップと、当該オブジェクトに当該属性を関連付ける属性関連付けステップと、当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定ステップと、当該レイアウトが示す当該属性と一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置ステップとを、コンピュータに実現させることを要旨とする。デバイスドライバプログラムの記録媒体としては、ＲＯＭ，ＲＡＭおよびＩＣカードなどコンピュータが読み取り可能な種々の媒体を利用することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明に係る画像レイアウト装置１の構成を示す機能ブロック図である。
画像レイアウト装置１は、人物の顔画像を含む画像データから、顔画像のみを取り出して、その顔画像の人物を特定し、属性に基づいて作製したレイアウトのテンプレート上に、顔画像を人物の属性に応じて配置する装置である。
この画像レイアウト装置１は、データを保持する情報データベース１０と、画像データを取り込む画像入力部２０と、人物の顔に相当する領域（以下、顔領域という。）を検出する顔検出部３０と、顔領域の画像の個体即ち、人物を特定する個体特定部４０と、人物に関する属性データを、顔領域の画像に関連付ける属性関連付け部５０と、属性データを入力する属性入力部５５と、顔画像のレイアウトと属性ルールを決定するレイアウト決定部８０と、顔領域の画像を属性ルールに従い配置する顔配置部６０と、レイアウトされた顔領域の画像を出力する画像出力部７０とを備えて構成される。

情報データベース１０は、画像データベース１１と、属性データベース１２と、レイアウトテンプレートデータベース１３とを備える。画像データベース１１は、人物の顔画像を少なくとも一つ以上含む画像のデータベースであり、属性データベース１２は、人物に関する属性のデータベースである。この属性とは、人物の性別、年齢等の生物的な属性と、所属するクラス、団体等の社会的な属性とを含む。また、レイアウトテンプレートデータベース１３は、画像をレイアウトするためのテンプレートのデータベースである。

この画像レイアウト装置１は、具体的には、コンピュータ１００およびこのコンピュータ１００に実行させるプログラムとして実現できる。図２はコンピュータ１００のハード構成を示すブロック図であり、図２を参照して説明する。
このコンピュータ１００は、制御プログラムに基づいて演算および装置全体を制御するＣＰＵ１０２と、所定領域にあらかじめＣＰＵ１０２の制御プログラム等を格納しているＲＯＭ１０３と、ＲＯＭ１０３等から読み出したデータやＣＰＵ１０２の演算過程で必要な演算結果を格納するためのＲＡＭ１０４と、外部装置に対してデータの入出力を媒介するＩ／Ｆ１０１とで構成されている。これらは、データを転送するための信号線であるバス１０５により、相互にデータが授受が可能であるように接続されている。

Ｉ／Ｆ１０１には、外部装置として、データを記憶する記憶装置１０６と、ヒューマンインターフェースとしてデータの入力が可能なキーボードやマウス等からなる入力装置５６と、コンピュータ１００が生成する画像信号に基づいて画面を表示する表示装置７５とが接続されている。
ＣＰＵ１０２は、演算を行う論理回路やデータを一時的に記憶するレジスタ等からなり、ＲＯＭ１０３の所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従って、図３のフローチャートに示す画像レイアウト処理を実行するようになっている。

図３は、画像レイアウト処理を示すフローチャートであり、図１、図２も参照して説明する。この画像レイアウト処理は、ＣＰＵ１０２で実行されると、先ず、ステップＳ２００が実行される。
ステップＳ２００では、画像入力部２０が、画像データベース１１の中から選択された画像データを取り込む。具体的には、記憶装置１０６内の情報データベース１０に記憶されている画像は、表示装置７５に一覧として表示される。ここで、画像レイアウト装置１の使用者は、この画像の中から取り込む画像を入力装置５６により選択する。選択された画像のデータは、画像データベースから画像入力部２０に取り込まれる。

次に、ステップＳ２０２に移行する。ステップＳ２０２では、顔検出部３０が、ステップＳ２００で取り込んだ画像の中から人物の顔に相当する領域（以下、顔領域という。）を検出する。画像から顔領域を検出する方法としては、例えば、「背景と顔の方向に依存しない顔の検出と顔方向の推定」（信学技報，PRMU2001-217，pp.87-94(2002-01)，荒木祐一，島田伸敬，白井良明）に開示されている技術、即ち、顔領域の可能性がある領域を確率付きで求め、弛緩法を用いて顔領域であるか否かを判定する技術、を利用して行うことができる。

次に、ステップＳ２０４に移行する。ステップＳ２０４では、個体特定部４０が、顔検出部３０が検出した顔領域から、この顔の個体即ち、人物を特定する。具体的には、先ず、顔検出部３０が検出した顔領域の顔の画像と、画像データベース１１に保持された顔の画像の中で、属性により人物が特定されている顔の画像との類似度を判定する。この類似度の判定は、例えば、「Face Recognition by Elastic Bunch Graph Matching」（L.Wiskott，J.M.Fellows，N.Kruger，and C.V.D.Malsburg,IEEE Trans. Pattern Anal. Machine Intell.，vol.19， pp.775-779，July 1997）に開示されている技術、即ち、グラフマッチングを行い、抽出した顔領域の画像の特徴点におけるガボールウェーブレット変換した振幅の類似性を利用して、顔領域の画像の認証を行う技術、を利用して行うことができる。更に、特開平８−２２１５４７号公報に開示されている技術、即ち、濃淡のモザイク画像を利用して顔領域を抽出して類型化する技術も利用できる。
ここで、類似度が予め定めた基準値以上である場合は、前記２つの顔の画像は、同一人物の顔の画像であると判定する。また、類似度が予め定めた基準値を越えない場合は、前記２つの顔の画像は、それぞれ異なる人物の顔の画像であると判定して、画像データベース１１の他の顔の画像との類似度を判定する。このようにして、同一人物の顔の画像であると判定できるまで、画像データベース１１に保持された顔の画像に対する類似度の判定を繰り返す。

次に、ステップＳ２０６に移行し、ステップＳ２０４の判定結果に基づいて、顔検出部３０が検出した顔領域の人物が特定できたか否かを判定する。ここで、顔検出部３０が検出した顔領域の人物と同一人物の顔画像が画像データベース１１に存在した場合、人物が特定できたと判断してステップＳ２０８に移行する（ステップＳ２０６でＹｅｓ）。
また、顔検出部３０が検出した顔領域の人物と同一人物の顔画像が画像データベース１１に存在しない場合、人物が特定できないと判断してステップＳ２１０に移行する（ステップＳ２０６でＮｏ）。
ステップＳ２１０では、顔検出部３０が検出した顔領域の人物に対して、属性入力部５５から属性データを入力し、属性を定義する。ここで属性とは、人物を特定するための生物的および社会的な特徴であり、詳細は後述する。画像レイアウト装置１の使用者は、表示装置７５に表示される図示を略したユーザインターフェイス画面に従い、入力装置５６から属性データを入力することで属性を定義できる。ここで、属性の定義を完了すると、作成された属性データは、属性データベース１２に保存され、ステップＳ２０８に移行する。

ステップＳ２０８では、属性関連付け部５０が、顔検出部３０で検出した顔領域の人物に対して属性の関連付けを行う。即ち、顔検出部３０が検出した顔領域の人物と同一人物の顔画像が画像データベース１１に存在する場合（ステップＳ２０６でＹｅｓ）、画像データベース１１に存在する同一人物の顔画像に関連付けられている属性データを、顔検出部３０が検出した顔領域の人物画像に対しても、同様に関連付ける。ここで、既に関連付けられている属性データは、属性入力部５５を介して、追加や修正ができる。
また、顔検出部３０が検出した顔領域の人物と同一人物の顔画像が画像データベース１１に存在しない場合（ステップＳ２０６でＮｏ）、ステップＳ２１０で定義した属性データを、顔検出部３０が検出した顔領域の人物画像に対して関連付ける。

ここで、属性について、具体例で説明する。図４は、顔画像に関連付けされた属性の一例を示す図である。この図に示された属性テーブル１１０は、顔画像名を示すフィールド１１５と、第１の属性である「人物名」を示すフィールド１１１と、第２の属性である「本人との関係」を示すフィールド１１２と、第３の属性である「所属クラス」を示すフィールド１１３と、第４の属性である「性別」を示すフィールド１１４とで構成される。この中で、「人物名」および「性別」は、人物を特定するための生物的な特徴であり、「本人との関係」および「所属クラス」は、人物を特定するための社会的な特徴である。
また、この図では、「画像Ａ」という顔画像には、「人物名」の属性の値は「人物１」が、「本人との関係」の属性の値は「本人」が、「所属クラス」の属性の値は「１クラス」が、「性別」の属性の値は「男」がそれぞれ関連付けられている。同様にして、その他の顔画像に対しても、属性の値がそれぞれ関連付けられている。

図３に戻り、次に、ステップＳ２１２に移行する。ここでは、レイアウト決定部８０が、顔画像を配置するレイアウトを決定する。このレイアウト決定部８０は、図示を略すが、レイアウトの基準となるレイアウトのテンプレートを決めるレイアウトテンプレート決定手段と、レイアウトのテンプレートに配置する属性の条件を入力するレイアウトルール入力手段とを備える。
ここで、図５は、レイアウトを決定する条件の一例を示す図である。この図は、顔画像を配置するレイアウトテンプレート１２０と、顔画像を選択するための属性のルール１３０とが図示されている。レイアウトテンプレート１２０は、顔画像のレイアウトの原型となるテンプレートであり、レイアウトテンプレートデータベース１３から、画像レイアウト装置１の使用者により選択される。
また、顔画像を選択するための属性のルール１３０は、属性データベース１２の属性データに基づいて、画像レイアウト装置１の使用者により作成される。具体的には、画像レイアウト装置１の使用者は、表示装置７５に表示される図示を略したユーザインターフェイス画面に従い、入力装置５６から属性に関するルールを入力する。

この図が示す属性のルール１３０によれば、例えば、レイアウトテンプレート１２０の左上の画像１フィールド１２１に配置される画像は、ルール１３０の画像番号フィールド１３１で、画像１の横方向に示される。即ち、属性２のルールフィールド１３２が示す「本人との関係」の属性の値は「友人」で、属性３のルールフィールド１３３が示す「所属クラス」の属性の値は「１クラス」で、属性４のルールフィールド１３４が示す「性別」の属性の値は「男」であることが条件となる。
同様にして、レイアウトテンプレート１２０の他の画像フィールドに配置される画像の条件も、それぞれ必要に応じて記述されている。

図３に戻り、次に、ステップＳ２１４に移行する。ステップＳ２１４では、顔配置部６０が、レイアウト決定部８０で決定された属性のルール１３０に従い、このルールに合致する顔領域の画像を抽出し、抽出した顔領域の画像をレイアウトテンプレート１２０内に配置する。
ここで、図６は、顔画像がレイアウトされたレイアウト配置図１４０の一例を示す図である。このレイアウト配置図１４０では、図４に示した属性テーブル１１０を構成する顔画像は、図５で示した属性のルール１３０に従い、レイアウトテンプレート１２０のフィールドの位置に配置されている。例えば、前記した図５の画像１フィールド１２１には、前記した条件に従い、画像Ｂが配置されている。同様に、他のフィールドについても、それぞれ条件に従って画像が配置されている。
図３に戻り、最後に、ステップＳ２１６に移行する。ステップＳ２１６では、画像出力部７０が、顔配置部６０によりレイアウトされた顔領域の画像を、表示装置７５上に表示する。

以上述べたような実施例によれば、次のような効果がある。
（１）検出した顔領域の画像から、その顔の人物を特定できると共に、その人物の属性を明確にできるため、顔領域の画像を、その顔の人物の属性という基準で効果的にレイアウトできる。
（２）顔領域の画像を、その顔の人物の属性のルールに従い、レイアウトテンプレートに配置できるため、様々なレイアウトの意図に対処できる。
（３）属性データベース１２に顔画像の人物の属性が登録されていない場合でも、属性データは属性入力部５５から新規に作成でき、作成した属性データに基づいてレイアウトできる。従って、属性が登録されていない人物の顔画像を読み込んだ場合でも、本装置はエラーで処理が終了することなく、安定して運用できる。

以上、本発明の画像レイアウト装置を図示の実施形態に基づいて説明したが、本発明は、これに限定されるものではなく、画像レイアウト装置１と、情報データベース１０とは、インターネットのようなネットワークで接続されていても良い。
また、画像データは、画像データベース１１の中に保存されている画像データを取り込むだけに限らず、画像レイアウト装置１と接続されたスキャナやカメラ等の画像入力装置から取り込んでも良い。

本発明に係る画像レイアウト装置の構成を示す機能ブロック図。 コンピュータのハード構成を示すブロック図。 画像レイアウト処理を示すフローチャート。 顔画像に関連付けされた属性の一例を示す図。 レイアウトを決定する条件の一例を示す図。 顔画像がレイアウトされたレイアウト配置図の一例を示す図。

符号の説明

１…画像レイアウト装置、１０…情報データベース、１１…画像データベース、１２…属性データベース、１３…レイアウトテンプレートデータベース、２０…画像入力部、３０…顔検出部、４０…個体特定部、５０…属性関連付け部、５５…属性入力部、５６…入力装置、６０…顔配置部、７０…画像出力部、７５…表示装置、８０…レイアウト決定部、１００…コンピュータ、１０１…Ｉ／Ｆ、１０２…ＣＰＵ、１０３…ＲＯＭ、１０４…ＲＡＭ、１０５…バス、１０６…記憶装置、１１０…属性テーブル、１２０…レイアウトテンプレート、１３０…ルール。

Claims (8)

1. 属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウト装置であって、
   画像を記憶する画像記憶手段と、
   当該オブジェクトを少なくとも一つ以上含む当該画像を取り込む画像入力手段と、
   当該画像の中から当該オブジェクトを検出するオブジェクト検出手段と、
   当該オブジェクトから生体の個体を特定する個体特定手段と、
   当該オブジェクトに属性を関連付ける属性関連付け手段と、
   当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定手段と、
   当該レイアウトが示す当該属性と略一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置手段とを備えることを特徴とする画像レイアウト装置。
2. 請求項１に記載の画像レイアウト装置において、
   前記生体のオブジェクトは、人物の顔であることを特徴とする画像レイアウト装置。
3. 請求項１乃至２のいずれかに記載の画像レイアウト装置において、
   前記属性は、人物に関する属性であることを特徴とする画像レイアウト装置。
4. 請求項１乃至３のいずれか一項に記載の画像レイアウト装置において、
   前記画像レイアウト装置は、前記オブジェクトの属性を入力する属性入力手段を更に備えることを特徴とする画像レイアウト装置。
5. 請求項１乃至４のいずれか一項に記載の画像レイアウト装置において、
   前記画像レイアウト装置は、前記オブジェクトが前記レイアウトに配置されるルールを、前記属性に基づいて作製するレイアウトのルール入力手段を更に備えることを特徴とする画像レイアウト装置。
6. 属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウト方法であって、
   当該オブジェクトを少なくとも一つ以上含む画像を取り込む画像入力工程と、
   当該画像入力工程で取り込んだ当該画像の中から当該オブジェクトを検出するオブジェクト検出工程と、
   当該オブジェクト検出工程で検出した当該オブジェクトから生体の個体を特定する個体特定工程と、
   当該個体特定工程で個体を特定したオブジェクトに対して、当該属性を関連付ける属性関連付け工程と、
   当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定工程と、
   当該レイアウト決定工程で決めた当該レイアウトが示す当該属性と略一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置工程
   とを備えることを特徴とする画像レイアウト方法。
7. 属性の関連付けが可能な生体のオブジェクトを、画像上に配置する画像レイアウトプログラムであって、
   当該オブジェクトを少なくとも一つ以上含む画像を取り込む画像入力ステップと、
   当該画像の中から当該オブジェクトを検出するオブジェクト検出ステップと、
   当該オブジェクトから生体の個体を特定する個体特定ステップと、
   当該オブジェクトに当該属性を関連付ける属性関連付けステップと、
   当該オブジェクトを配置するレイアウトを、当該属性に基づいて決めるレイアウト決定ステップと、
   当該レイアウトが示す当該属性と一致する当該オブジェクトを抽出して、画像上に配置するオブジェクト配置ステップとを、コンピュータに実現させるための画像レイアウトプログラム。
8. 請求項７に記載の画像レイアウトプログラムを記録した記録媒体。
   
   

Images