JP2007004677A - コメントレイアウト装置、アルバム作成装置 - Google Patents

Abstract

【課題】 コメントの配置を簡易なものとするコメントレイアウト装置を提供することを目的とする。
【解決手段】 テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置であって、前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段とを備えたコメントレイアウト装置とする。
【選択図】 図１

Description

本発明は、テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置、および、コメントレイアウト装置を備えたアルバム作成装置に関する。

従来から、デジタルスチルカメラなどの撮像機器で撮影した複数の画像を、パーソナルコンピュータ上で編集し、アルバムを製作するソフトウェアやウェブサイトなどがある。こうしたソフトウェア等では、ユーザが選択した撮影画像を、所定のレイアウトに配置し、画像毎にコメントを付したり、所定の表示を付けたりすることができる。例えば、下記特許文献１には、撮影画像毎に表示するコメントとして、画像の撮影日や場所情報などを付したアルバムを作成する技術が開示されている。かかるアルバム作成技術によれば、ユーザが手間をかけずにアルバムを作成することができるとされている。

特開２００３−８５２６５号公報

こうしたアルバムの作成技術を用いても、ユーザにとって煩雑な編集作業が必要となる場合があった。例えば、人物を撮影した画像等においては、撮影時の会話の内容や、画像から想像される複数の人物の間でのやり取りなど、所定文書等をコメントとして画像に配置してアルバムを演出したい場合がある。このような場合には、画像内の人物が発言しているように見せる「吹き出し」を利用するが、「吹き出し」の配置はユーザが指定する必要があった。こうした吹き出し位置の決定や調整の作業を、アルバムにレイアウトする画像毎に行なわなければならず、ユーザにとっては手間となる作業であった。

本発明は、こうした煩雑な作業を伴うといった問題を踏まえ、コメントの配置を簡易なものとするコメントレイアウト装置、および、コメントレイアウト装置を備えたアルバム作成装置を提供することを目的とする。

本発明のコメントレイアウト装置は、上記課題に鑑み、以下の手法を採った。すなわち、テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置であって、前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段とを備えたことを要旨としている。

本発明のコメントレイアウト装置によれば、対象画像内の顔の画像領域における基準位置情報を検出し、これに基づいてコメント入力領域を配置する。したがって、コメント入力領域の配置操作、位置の調整操作など、煩わしい作業を軽減することができ、コメント入力領域の配置作業を容易なものとすることができる。

上記の構成を有するコメントレイアウト装置の画像情報検出手段は、前記基準位置の情報に加えて、前記顔の画像の面積の情報を検出し、前記コメント配置手段は、前記基準位置の情報に加えて前記面積の情報を考慮して、前記コメント入力領域を配置するものとしても良い。

かかるコメントレイアウト装置によれば、コメント入力領域の配置に、顔画像領域の基準位置の情報に加え、面積の情報を用いる。すなわち、コメント入力領域の配置に際し、顔の画像領域を把握することができる。したがって、例えば顔の画像領域を避けるように、コメント入力領域を配置することができる。

上記の構成を有するコメントレイアウト装置のコメント配置手段は、前記画像内に認識される人物の顔の画像領域が複数ある場合には、当該複数の顔画像領域の面積を相対的に比較して１以上の顔画像領域を選択し、当該選択された顔画像領域に対してコメント入力領域を配置するものとしても良い。

かかるコメントレイアウト装置によれば、複数の顔画像領域がある場合には、面積同士を相対的に比較して顔画像領域を選択し、これにコメント入力領域を配置する。すなわち、面積の比較により、コメント入力領域を配置すべき顔画像領域を判別する。こうした相対的な面積の評価を行なうことで、例えば、市街地などの雑踏で撮影した画像における背景の通行人を、対象から除外することができる。

上記の構成を有するコメントレイアウト装置のコメント配置手段は、前記画像内に認識される人物の顔の画像領域が所定人数以上である場合には、該顔の画像領域に対応付けた前記コメント入力領域の配置に代えて、当該画像の全体に対して、一の該コメント入力領域を配置するものとしても良い。

かかるコメントレイアウト装置によれば、顔の画像領域が多数認識され、所定数以上である場合には、単一のコメント入力領域を配置する。つまり、認識された顔画像領域分のコメント入力領域の配置は行なわない。したがって、コメント入力領域が過多となることを防ぎ、適切な数のコメントの入力領域を配置することができる。

上記の構成を有するコメントレイアウト装置のコメント入力領域を、吹き出しの形状で形成するものとしても良い。また、吹き出しの形状は、前記入力するコメントを囲う境界線部と、該境界線部の一部から突出した鋭角形状の引き出し部とを備え、前記コメント配置手段は、前記引き出し部を、前記顔の画像領域の前記基準位置に基づく所定位置から引き出して、前記吹き出しを配置するものとしても良い。

かかるコメントレイアウト装置によれば、「吹き出し」の形状によりコメント入力領域を形成し、検出した顔画像領域に対応付けて「吹き出し」を配置する。したがって、画像内の顔画像領域の人物（被写体）が発言するように演出することができ、効果的なコメント入力領域を配置することができる。

上記の構成を有するコメントレイアウト装置のコメント配置手段は、前記コメント入力領域を対応付ける前記顔画像領域に影響を与えない位置に、当該コメント入力領域を配置するものとしても良い。こうすることで、画像に対して適切な位置にコメント入力領域を配置することができる。

上記の構成を有するコメントレイアウト装置のコメント配置手段は、前記コメント入力領域を、前記画像内に収めて配置するものとしても良い。こうすることで、例えば、画像を用紙いっぱいに印刷する場合であっても、コメント入力領域を確保することができる。

本発明のアルバム作成装置は、複数の画像からアルバムを作成し、当該アルバム内の画像に、テキスト形式のコメントを入力するコメント入力領域を配置するアルバム作成装置であって、前記複数の画像の画像データを記憶する画像データベースと、前記写真画像データベースに記憶された画像データの中から、前記アルバムの作成に用いる画像を選定し、当該選定された画像の画像データを読み込む選択手段と、前記読み込まれた画像データを、所定のレイアウトの情報に従って配置する画像レイアウト手段と、前記所定のレイアウト上の画像データに対して、前記コメント入力領域を配置するコメントレイアウト装置とを備え、前記コメントレイアウト装置は、前記所定のレイアウト上の画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段とから形成したことを要旨としている。

本発明のアルバム作成装置によれば、アルバムの編集用に選定した画像の内容に応じて、自動的にコメント入力領域を配置する。したがって、アルバムの作成、特に、コメント入力領域の配置の設定操作を容易なものとすることができる。

本発明のコメントレイアウト装置は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．アルバム作成装置：
Ｂ．アルバム作成システムの構成：
Ｃ．アルバム作成処理：
Ｄ．コメントレイアウト処理：
Ｅ．変形例：

Ａ．アルバム作成装置：
図１は、本発明の一実施形態としてのコメントレイアウト装置を含むアルバム作成装置を示す説明図である。アルバム作成装置は、デジタルスチルカメラなどの撮像機器で撮影された画像を対象とし、これらの画像を所定レイアウトに配置してアルバムを作成する装置である。このアルバム作成装置は、アルバム上に配置する一の画像に付する所定コメントの配置を、自動的に実行するコメントレイアウト装置を備えている。

図示するように、アルバム作成装置１０は、主に、画像データを記憶する写真画像データベース２０，写真画像データベース２０と接続する関連情報取得部２５，アルバム用の画像データを選択する写真選択部３０，選択された画像データにおける人物画像の顔を検出する顔検出部４０，選択された画像データのレイアウトを設定するアルバムレイアウト部５０，アルバムのプレビューを生成するアルバム表示部６０，印刷用のデータを生成するアルバム印刷部６５などから構成されている。

写真画像データベース２０は、デジタルスチルカメラなどの撮像機器で撮影した複数の画像データを記憶したデータベースである。写真画像データベース２０が記憶する画像データは、Ｅｘｉｆ形式で構成されており、ＪＰＥＧ形式に圧縮された画像データ本体の他、画像を撮影した日時、場所の情報、あるいは、コメント情報など、画像に関連した情報を備えている。例えば、撮像機器がＧＰＳ機能を備えている場合には、経度、緯度で表わされる場所情報が付加され、また、携帯電話であれば、基地局の情報として地名などのテキスト形式のコメント情報が付加されている。写真画像データベース２０は、画像データ本体のみならず、こうした付加的な関連情報も記憶している。

関連情報取得部２５は、写真画像データベース２０と接続し、写真画像データベース２０に記憶された画像データの関連情報を取得する。取得された関連情報は、写真選択部３０による画像データの選択に利用される。

写真選択部３０は、外部機器である入力装置８０や、関連情報取得部２５を介した写真画像データベース２０と接続しており、アルバム作成に使用する画像データを選択する。画像データの選択は、入力装置８０を介したユーザ指示により行なわれる。具体的には、ユーザがアルバムとして編集したい画像データを指示し、あるいは、アルバムとして編集したい画像データの条件として、撮影日時，位置情報，コメント情報などを指示することで、写真選択部３０は所定の画像データを選択している。

顔検出部４０は、写真画像データベース２０および写真選択部３０と接続しており、写真選択部３０により選択された画像データを、写真画像データベース２０から取得し、これを解析する。顔検出部４０は、取得した画像データ内に存在する人物の顔の画像部分を認識する。画像内に人物が存在する場合には、人物の顔の画像部分の重心（画像全体に対する重心の座標）などの位置情報や、顔の画像部分の面積等を検出する。この顔の画像認識は、後述するように種々の周知の画像処理技術を用いることができる。この顔検出部４０は、特許請求の範囲のコメントレイアウト装置における「画像情報検出手段」に相当する。

アルバムレイアウト部５０は、写真レイアウト部５２と、コメントレイアウト部５５を備え、写真選択部３０，写真画像データベース２０，顔検出部４０の他、アルバム表示部６０，アルバム印刷部６５と接続し、アルバム作成における画像データやコメントなど、種々の要素のレイアウトを決定する。写真レイアウト部５２は、アルバム用の画像配置を表わした数種類のレイアウトの雛形を備えており、写真選択部３０により選択された画像データを取得し、これを所定のレイアウトに配置する。

コメントレイアウト部５５は、顔検出部４０から、選択された画像データ内における顔の画像の有無の情報や、顔の画像がある場合には、その位置情報、面積等の情報を入力し、これらの情報を利用して顔の画像に対応した位置に、コメントを入力するコメント入力領域を配置する。すなわち、画像データの内容に応じて、コメント入力領域の配置を自動的に調整している。こうして配置したコメント入力領域に関する情報、例えば、コメント入力領域の相対的な位置、大きさ、形状などは、画像データと関連付けて、写真画像データベース２０に記憶される。このコメントレイアウト部５５は、特許請求の範囲のコメントレイアウト装置における「コメント配置手段」に相当し、写真画像データベース２０は「記憶手段」に相当する。つまり、上述の顔検出部４０と、コメントレイアウト部５５，写真画像データベース２０とから、コメントレイアウト装置は形成されている。

アルバムレイアウト部５０は、画像データやコメント入力領域などを所定形式に配置した後、これをアルバム表示部６０に出力する。アルバム表示部６０は、アルバムレイアウト部５０からの出力を受けてプレビュー画面を作成し、これを表示装置９０に表示する。また、ユーザが入力装置８０を介して、アルバムの印刷を指示した場合には、アルバムレイアウト部５０は、アルバムのデータをアルバム印刷部６５に出力する。アルバム印刷部６５は、アルバムレイアウト部５０からの出力を受けて印刷データを生成し、これをプリンタ１００に出力する。こうして所望のアルバムが、プリンタ１００から出力される。

こうしたコメントレイアウト装置を含むアルバム作成装置１０は、各処理機能部をソフトウェアで形成し、汎用的な計算機にインストールすることで実現することができる。以下、汎用的な計算機であるパーソナルコンピュータを用いた実施の態様について説明する。

Ｂ．アルバム作成システムの構成：
図２は、本発明の一実施例としてのアルバム作成システム２００の概略構成を示す説明図である。図示するように、このアルバム作成システム２００は、処理対象となる画像を記憶したデジタルスチルカメラ１１０、デジタルスチルカメラ１１０に記憶された画像を入力して所定のアルバムを作成するアルバム作成装置１０としてのパーソナルコンピュータ（以下、ＰＣ１０と記す）、ＰＣ１０により処理される画像の表示等を行なう表示装置９０の一つとしてのディスプレイ９０ａ、入力装置８０としてのキーボード８０ａやマウス８０ｂ、ＰＣ１０で処理されたアルバムを出力するプリンタ１００等から構成されている。

デジタルスチルカメラ１１０は、ＰＣ１０と所定のケーブルで接続する接続ポートを備えており、デジタルスチルカメラ１１０内に記憶された画像データは、ＰＣ１０内（後述するハードディスク７４内）に取り込まれる。ユーザの指令の元に所定のアルバムが作成される。なお、デジタルスチルカメラ１１０からの直接的な画像データの取得に代えて、メモリカード１１２，ＤＶＤ−ＲＯＭ／ＲＡＭ１１３，ハードディスク１１４，図示しないデジタルビデオカメラやカメラ付きの携帯電話など、撮影した画像データを記録した記録媒体や撮像機器と、ＰＣ１０とを接続し、記録媒体から画像データを取得するものであっても良い。

ＰＣ１０は、内部にＣＰＵ７１，ＲＯＭ７２，ＲＡＭ７３，ハードディスク７４，Ｉ／Ｆ回路部７５等を有し、各機器はそれぞれ内部バスにより接続されている。Ｉ／Ｆ回路部７５は、デジタルスチルカメラ１１０，ディスプレイ９０ａ，キーボード８０ａ，マウス８０ｂ，プリンタ１００と接続しており、こうした外部の機器とＰＣ１０とのインターフェイスとして機能している。

ＲＯＭ７２内およびハードディスク７４内には、所定のオペレーティングシステムが記憶されており、ＰＣ１０の電源投入と共に、ＣＰＵ７１はＲＯＭ７２内およびハードディスク７４内のオペレーティングシステムＯＳを読み込み、起動する。

ハードディスク７４には、デジタルスチルカメラ１１０から取り込んだ画像データが記憶されていると共に、印刷用の処理プログラムや、後述するアルバム作成処理のプログラムなど、オペレーティングシステム上で動作する種々のアプリケーションプログラムがインストールされている。ＣＰＵ７１は、キーボード８０ａやマウス８０ｂを介したユーザ操作の指示を受け、こうしたプログラムを読み出し、ＲＡＭ７３上に展開して実行する。

プリンタ１００は、Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロ）、Ｋ（ブラック）の４色のドットにより、カラー画像の印刷が可能なインクジェット方式のプリンタである。このプリンタ１００は、４色のインクを吐出する複数のノズルを搭載したキャリッジ（図示せず）を備え、キャリッジを往復運動（主走査）させつつ、用紙を主走査方向と直交する方向へ送る（副走査）過程で、用紙上にインクドットを形成する。インクの吐出には、圧電素子であるピエゾ素子を用いており、主走査，副走査と共に、圧電素子への電圧を制御することで、印刷対象の画像を精度良く再現した印刷画像を出力することができる。勿論、他のインクジェット方式のプリンタ（例えばバブルジェット（登録商標））や複合機など種々の方式のプリンタを用いるものとしても良い。

以上のハード構成を有するアルバム作成システム２００において、ユーザが所定画像のアルバム作成を所望する場合には、キーボード８０ａやマウス８０ｂを介して、アルバム作成処理プログラムを起動する。

Ｃ．アルバム作成処理：
図３は、アルバム作成処理のフローチャートである。ユーザ指示によりアルバム作成処理を開始すると、ＣＰＵ７１は、ハードディスク７４から処理プログラムを読み出し、ＲＡＭ７３上に展開して、各種処理を実行する。

処理を開始すると、ＣＰＵ７１は、ユーザの指示を受けて、アルバム作成において対象となる画像データを選定し、これを取り込む（ステップＳ３００）。ユーザの指示に先立って、ＣＰＵ７１は、ディスプレイ９０ａ上にアルバムの対象となる画像の選択を促す画面を表示している。ユーザは、キーボード８０ａ，マウス８０ｂを用いて、アルバムとして編集を望む画像を選択する。ＣＰＵ７１は、これを受け、ハードディスク７４から所定の画像データを取り込んでいる。

なお、画像データの選定は、所定の条件に合致するものを選定する手法であっても良い。例えば、アルバムを作成したい画像の選定条件として、撮影日時，位置情報，コメント情報などを、ユーザがキーボード８０ａ等によって指示する。撮影日時が指示された場合には、ＣＰＵ７１は、その撮影日時が付された画像データを選定する。こうすることで、所望の画像データを簡単に選定することができる。

続いて、ＣＰＵ７１は、選定した画像データをアルバムとして配置する画像レイアウトを選定する（ステップＳ３１０）。具体的には、ＣＰＵ７１は、アルバムの一ページにおける画像データの配置を示す数種類のレイアウトの雛形を、ディスプレイ９０ａ上に表示し、ユーザが一の雛形を選択することで、画像レイアウトを選定している。なお、予めデフォルトの雛形を設定し、ユーザからの指示がない場合には、この雛形を画像レイアウトとして選定するものとしても良い。

ＣＰＵ７１は、こうして選定した画像レイアウトに画像データを配置した後、コメントレイアウト処理を実行する（ステップＳ３２０）。コメントレイアウト処理では、画像レイアウト（アルバム上）に配置された一の画像データに対して人物の顔の画像の有無を判断し、顔の画像が有る場合には、顔の画像に対応した位置に、コメントを入力するコメント入力領域として「吹き出し」を配置する処理である。このコメントレイアウト処理は、アルバム上の各画像データに対して、繰り返し実行される。

「吹き出し」とは、ユーザが入力装置８０を介して入力したテキスト形式のコメント（例えば、画像データから想像される会話、文章など）を、画像内の人物が発言したように見せるコメント入力領域の形状の一態様である。

図４は、コメント入力領域としての「吹き出し」の説明図である。図示するように、「吹き出し」の形状Ｋは、点Ｅを中心とする楕円形状で形成されたコメントを入力する境界の領域Ｋａ（コメント境界領域Ｋａと呼ぶ）と、楕円形状の領域から鋭角に突出した引き出し部分Ｋｂとを備えた形状である。引き出し部分Ｋｂは、顔の画像の周囲の始点Ｓから楕円形状の中心点Ｅ（以後、これを終点Ｅと呼ぶ）へ向かって拡開して形成される。コメントレイアウト処理では、図４（ａ），（ｂ）に示すように、画像Ｐ内の人物の顔の位置に応じて、コメント境界領域Ｋａ，引き出し部分Ｋｂを調整し、自動的に、所定の大きさの「吹き出し」形状Ｋを配置している。なお、コメントレイアウト処理については、後に詳しく説明する。

続いて、ＣＰＵ７１は、ユーザが入力するコメントを「吹き出し」内に配置して完成したアルバムをディスプレイ９０ａ上に表示する（ステップＳ３３０）。こうして、所定の画像レイウトに、コメント入りの「吹き出し」を付けた画像が配置され、所望のアルバムが完成する。

アルバムを表示したＣＰＵ７１は、ユーザの指示に応じて、出力処理を実行し（ステップＳ３５０）、一連のアルバム作成処理を終了する。ディスプレイ９０ａ上に表示されたアルバムを見たユーザは、これを印刷する指示、再度編集する指示、あるいは、保存する指示など、種々の出力処理を指令する。例えば、印刷する指示がなされた場合には、ＣＰＵ７１は、印刷データを生成してプリンタ１００に出力する。こうして所望のアルバムが用紙に印刷される。なお、保存する指示がなされた場合には、選定された画像データ，画像レイアウト，「吹き出し」の配置（位置や形状），入力したコメントなど、アルバムに関連する種々のデータを、ハードディスク７４に保存する。保存された種々のデータを利用することで、後日、作成済みのアルバムをディスプレイ９０ａ上に表示することができる。

以上のアルバム作成処理によれば、選定した画像に応じて、自動的に「吹き出し」を配置する。したがって、アルバムの作成、特に、コメント入力用の「吹き出し」配置の設定操作を容易なものとすることができる。以下、コメントレイアウト処理について説明する。

Ｄ．コメントレイアウト処理：
図５は、コメントレイアウト処理のフローチャートである。この処理は、上述のアルバム作成処理のサブルーチンとして構成され、アルバム作成用に選定された一の画像データに対して、「吹き出し」を配置する処理である。

処理が開始されると、ＣＰＵ７１は、対象となる画像データ内における人物の顔の画像（以下、顔画像と呼ぶ）の位置、面積を検出する処理を行なう（ステップＳ５００）。具体的には、図６に示すように、画像データＰ内における人物の顔画像Ｆ１を認識し、顔画像Ｆ１の重心Ｇ１および面積Ａ１を検出する。なお、顔画像Ｆ１の認識は、周知の画像処理技術を用いている。例えば、ＲＧＢで表現される画像データを、輝度成分Ｙ、色差成分Ｃｂ，Ｃｒで表現されるＹＣｂＣｒの色空間に変換し、所定の閾値内の色差成分を持つ画素を肌色領域として抽出し、抽出した肌色領域に基づいて顔画像を認識する。認識した顔画像について、重心位置、面積を算出することができる。また、ニューラルネットワークを用いたマッチングにより、顔認識等を行なうものであっても良い。

続いて、ＣＰＵ７１は、対象となる画像データ内に、顔画像があるか否かを判断する（ステップＳ５１０）。具体的には、ステップＳ５００の処理で、重心Ｇ１，面積Ａ１の出力がない場合には顔画像がないと判断し、出力がある場合には顔画像があると判断している。

ステップＳ５１０で、顔画像がないと判断した場合（Ｎｏ）には、ＥＮＤに抜け、コメントレイアウト処理を終了し、図３のステップＳ３３０へ戻る。例えば、対象となる画像データが風景画像であるような場合には、「吹き出し」を配置することなく、処理を終了する。

他方、ステップＳ５１０で、顔画像があると判断した場合（Ｙｅｓ）には、顔画像がいくつあるか判断し、複数の顔画像がある場合に面積比率が所定値以下である顔画像を対象から除外する（ステップＳ５２０）。すなわち、このステップでは、「吹き出し」を配置する主な被写体（顔画像）を判別している。

具体的には、検出された複数の顔画像の中から面積が最大の顔画像を選定し、これに対して、各顔画像の面積比率を算出する。この比率が所定閾値よりも小さい場合（本実施例では、３０％よりも小さい場合）には、コメントレイアウト処理の対象となる顔画像とは認定しない。

図７は、一の画像データ内に、複数の顔画像が検出された場合の一例を示す説明図である。図示するように、画像データＰに対して、６つの顔画像が検出されたとする。この中で最も面積が大きい顔画像Ｆ１（重心Ｇ１，面積Ａ１）を選定し、他のすべての顔画像Ｆ２，Ｆ３，・・について、面積比率を求める。例えば、顔画像Ｆ２であれば、Ａ２／Ａ１×１００（％）の面積比率となる。この例に示すように、算出した顔画像の面積比率が３０％よりも小さい顔画像Ｆ２，Ｆ３・・については、対象から除外する。図７の例では、顔画像Ｆ１のみが、コメントレイアウト処理の対象となる。こうした相対的な面積比率の評価を行なうことで、例えば、市街地などの雑踏で撮影した画像における背景の通行人を、対象から除外することができる。

続いて、ＣＰＵ７１は、主な被写体として絞り込まれた顔画像の個数が所定閾値以下であるか否かを判断する（ステップＳ５３０）。つまり、コメントレイアウト処理の対象として認定された顔画像がいくつあるかを判断している。なお、ここでは所定の閾値を４個に設定している。

ステップＳ５３０で、顔画像の個数が４個以上であると判断した場合（Ｎｏ）には、画像データの全体から出る「吹き出し」を配置し（ステップＳ５５０）、一連のコメントレイアウト処理を終了して、図３のステップＳ３３０へ戻る。つまり、個々の顔画像に対応した「吹き出し」を配置するのではなく、画像データ全体に対応した「吹き出し」を配置する。

図８は、一の画像データ内に、複数の顔画像が、主な被写体として認定された場合の一例を示す説明図である。図示するように、画像データＰ内には５つの顔画像Ｆ１〜Ｆ５が検出され、最も面積が大きい顔画像Ｆ１に対する各顔画像Ｆ２〜Ｆ５の面積比率は３０％以上であり、５つの顔画像Ｆ１〜Ｆ５のすべてが主な被写体として認定される。この場合には、顔画像の個数が４個以上となるため、画像データＰの全体から、一つの「吹き出し」形状Ｋを配置する。つまり、各顔画像に対応して、５つの「吹き出し」を配置すると、配置が複雑となると共に、全体として煩雑な印象を受ける。こうした場合に、単一の「吹き出し」を配置することで、適切なコメントの入力領域を確保することができる。

なお、本実施例では、図８に示すように、画像データＰの上側（画像データＰの領域外）で、かつ、右よりの位置に、コメント境界領域Ｋａを配置し、画像データＰの上側で、かつ、左右方向の略中央の位置を始点Ｓとして引き出し部分Ｋｂが形成されることで、所定の「吹き出し」形状Ｋが配置される。こうした「吹き出し」の形状、および、配置は、予めデフォルト値として設定されている。

他方、ステップＳ５３０で、顔画像の個数が４個よりも少ない、つまり、１個〜３個であると判断した場合（Ｙｅｓ）には、各顔画像に対応して「吹き出し」を配置し（ステップＳ５４０）、一連のコメントレイアウト処理を終了する。

図９は、一の画像データ内に、複数の顔画像が、主な被写体として認定された場合の一例を示す説明図である。図示するように、画像データＰ内には２つの顔画像Ｆ１，Ｆ２が検出され、最も面積が大きい顔画像Ｆ１に対する顔画像Ｆ２の面積比率が３０％以上であり、２つの顔画像Ｆ１，Ｆ２が主な被写体として認定される。ここで、顔画像の個数が４個よりも少ないため、各顔画像Ｆ１，Ｆ２のそれぞれに対して「吹き出し」を配置する。

「吹き出し」が２つ必要となる場合、まず、最も面積が大きい顔画像Ｆ１に対して「吹き出し」を配置する。具体的には、検出された顔画像Ｆ１の重心Ｇ１から上方で、画像データＰ外の位置に、終点Ｅ１を設定し、これを楕円中心としてコメント境界領域Ｋ１ａを配置する。そして、顔画像Ｆ１の重心Ｇ１から上方へ、顔画像の面積Ａ１を考慮した分移動した位置に始点Ｓ１を取り、始点Ｓ１から終点Ｅ１に向かって、拡開する形状の引き出し部分Ｋ１ｂを形成することで、「吹き出し」形状Ｋ１の配置を完了する。この処理は、主な被写体として認定された顔画像が１つである場合と同様である。

続いて、もう一つの顔画像Ｆ２に対して「吹き出し」を配置する。基本的には、２つ目の「吹き出し」も１つ目の「吹き出し」と同様、検出された顔画像Ｆ２の重心Ｇ２から上方で、画像データＰ外の位置に配置するが、検出された２つの顔画像Ｆ１，Ｆ２が左右方向で所定距離よりも接近している場合には、２つのコメント境界領域Ｋ１ａ，Ｋ２ａが重なり合う。この場合には、１つ目の「吹き出し」の終点Ｅ１から所定距離だけ離れた位置に終点Ｅ２を設定し、これを楕円中心としてコメント境界領域Ｋ２ａを配置する。そして、顔画像Ｆ２の重心Ｇ２から上方へ、顔画像の面積Ａ２を考慮した分移動した位置に始点Ｓ２を取り、始点Ｓ２から終点Ｅ２に向かって、拡開する形状の引き出し部分Ｋ２ｂを形成することで、「吹き出し」形状Ｋ２の配置を完了する。なお、「吹き出し」が３つ必要な場合であっても、同様に処理される。こうすることで、コメント境界領域が重なり合うことなく、複数の顔画像の位置に対応した「吹き出し」を配置することができる。

「吹き出し」の配置は、上述した手法に限るものではない。例えば、重心Ｇから少し傾いた軸上に終点Ｅを設けても良い。また、顔画像の右、左、下など、どのような位置から「吹き出し」を出すように設定しても良い。

さらに、「吹き出し」が複数必要となる場合には、デフォルト位置として予め設定されている位置に各コメント境界領域を配置し、各顔画像の重心から上方へ、面積を考慮した分移動した位置から拡開する形状の引き出し部分を形成し、「吹き出し」の配置を完了するものとしても良い。予めコメント境界領域の配置を固定しておくことで、複数のコメント境界領域を確保することができ、バランス良く配置することができる。

以上のコメントレイアウト処理によれば、撮影した画像データ内の顔画像の位置に応じて、自動的に「吹き出し」を配置することができる。したがって、煩雑な操作を必要とすることなく、ユーザは画像データにコメントを付すことができる。また、顔画像に対応付けて「吹き出し」が配置されるため、画像データ内の被写体が発言するように演出することができる。

また、検出した顔画像が複数ある場合には、面積比率を求めて主な被写体を判断して「吹き出し」を配置し、所定数以上の主な被写体を検出した場合には、画像データ全体から「吹き出し」を配置する。したがって、画像データの内容に応じて、適切に「吹き出し」を配置することができる。

本実施例では、認識した顔画像の位置と面積とから「吹き出し」の配置を行なっている。したがって、主な被写体として認識された顔画像に対して適切な位置（例えば、引き出し部分が顔画像に重ならない位置）に、「吹き出し」を配置することができる。なお、認識された顔画像の位置に対する引き出し部分の始点Ｓの位置を、予めデフォルト値として設定しておき、顔画像の面積を用いることなく、「吹き出し」を配置するものとしても良い。かかる手法であっても、ほとんどのスナップ写真に対して適切に「吹き出し」を配置することができると共に、「吹き出し」の配置が容易となる。また、検出する顔画像の位置は、重心に限らず、肌色領域内の所定点であっても良い。

Ｅ．変形例：
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。本実施例では、顔認識により、画像内における顔の画像に対応して「吹き出し」を配置するものとしたが、顔の画像に限らず、顔認識から判別できる人物の画像全体から「吹き出し」を出すものであっても良い。

本実施例では、アルバム作成における「吹き出し」の配置を例としているため、アルバムの１ページ（台紙）における画像データの領域外にコメントを配置するものとしたが、Ｌ版などの写真用紙に印刷する場合に、コメントレイアウト処理を用いることもできる。

この場合、顔画像の位置、面積を検出し、顔画像に重ならない画像データ内の領域にコメント境界領域を配置するものとすれば良い。例えば、図１０に示すように、画像データ内の左上の位置に顔画像を検出した場合には、右上の所定位置にコメント境界領域を配置し、顔画像の重心位置に基づいて引き出し部分を形成して、「吹き出し」（形状Ｋ）を配置するものとすれば良い。勿論、他の顔画像の有無などを考慮して、コメント境界領域を配置するものとして良い。こうすることで、写真用紙などに印刷する場合であっても、適切な位置に「吹き出し」を配置することができる。

本実施例では、コメントレイアウト装置はアルバム作成装置１０に含まれるものとして説明したが、コメントレイアウト処理のプログラムをパーソナルコンピュータや、スタンドアロン，複合機等のプリンタなど、種々の機器にインストールし、あるいは、ハードウェアとして備えることで、コメントレイアウト装置を構成するものとしても良い。この場合のコメントレイアウト装置は、所定の画像データを取得すると共に、画像データ内の顔の画像を認識し、顔の位置に応じて所定の「吹き出し」を配置する処理までを実行する。

例えば、スキャナ機能を備えた複合機のプリンタをコメントレイアウト装置とする場合には、所定の画像データに「吹き出し」を配置して、プリントアウトした後、その「吹き出し」内にユーザがコメントを自筆で書き込むことができる。さらには、コメントを書き込んだ印刷物を、再度、スキャナで読み込み、アルバム作成などの種々の処理に利用することもできる。

また、本実施例では、パーソナルコンピュータに各処理プログラムをインストールすることで、コメントレイアウト装置、アルバム作成装置を構成するものとしたが、ネットワーク上の所定のサーバに、コメントレイアウト装置およびアルバム作成装置を配置することができる。

例えば、図１１に示すように、アルバム作成装置１０と、ネットワーク１４０と接続するネットワーク接続部１３０とを、所定のサーバ上に設けておく。ユーザ側の端末であるパーソナルコンピュータ１５０は、ネットワーク１４０に接続可能に構成されている。ユーザは、ネットワーク１４０を介して、所定のサーバにアクセスすることで、アルバム作成装置１０によるアルバム作成処理を実行する。作成されたアルバムは、例えば、パーソナルコンピュータ１５０に接続されたプリンタ１５５から出力される。こうしたサーバを利用することで、例えば、アルバム編集の対象となる大量の画像データ、作成したアルバム自体を、ネットワーク上に保存することができる。

本実施例では、コメント入力領域として、代表的な形状の「吹き出し」を例に説明したが、「吹き出し」の形状はこれに限るものでない。例えば、図１２に示すように、様々な種類の「吹き出し」によりコメント入力領域の境界を形成することができる。図示する「吹き出し」形状のコメント境界領域Ｋａ，引き出し部分Ｋｂを、本実施例で説明した手法により配置することで、効果的な演出を施したコメント付きの画像を得ることができる。

本発明のコメントレイアウト装置を含むアルバム作成装置の説明図である。 実施例としてのアルバム作成システムの概略構成を示す説明図である。 アルバム作成処理のフローチャートである。 コメント入力領域としての「吹き出し」の説明図である。 コメントレイアウト処理のフローチャートである。 顔画像の位置、面積の検出例を示す説明図である。 複数の顔画像が検出された場合の一例を示す説明図である。 複数の顔画像が主な被写体として認定された場合の一例を示す説明図である。 複数の顔画像が主な被写体として認定された場合の一例を示す説明図である。 画像データ内に「吹き出し」を配置する説明図である。 ネットワーク上に配置したアルバム作成装置の構成図である。 「吹き出し」形状の例を示す説明図である。

符号の説明

１０...アルバム作成装置
２０...写真画像データベース
２５...関連情報取得部
３０...写真選択部
４０...顔検出部
５０...アルバムレイアウト部
５２...写真レイアウト部
５５...コメントレイアウト部
６０...アルバム表示部
６５...アルバム印刷部
７４...ハードディスク
８０...入力装置
８０ａ...キーボード
８０ｂ...マウス
９０...表示装置
９０ａ...ディスプレイ
１００...プリンタ
１１０...デジタルスチルカメラ
１３０...ネットワーク接続部
１４０...ネットワーク
１５０...パーソナルコンピュータ
１５５...プリンタ
２００...アルバム作成システム
Ｆ...顔画像
Ａ...面積
Ｇ...重心
Ｋ...「吹き出し」の形状
Ｋａ...コメント境界領域
Ｋｂ...引き出し部分
ＯＳ...オペレーティングシステム
Ｐ...画像データ

Claims (11)

1. テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置であって、
   前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、
   前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、
   前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段と
   を備えたコメントレイアウト装置。
2. 請求項１に記載のコメントレイアウト装置であって、
   前記画像情報検出手段は、前記基準位置の情報に加えて、前記顔の画像の面積の情報を検出し、
   前記コメント配置手段は、前記基準位置の情報に加えて前記面積の情報を考慮して、前記コメント入力領域を配置するコメントレイアウト装置。
3. 請求項２に記載のコメントレイアウト装置であって、
   前記コメント配置手段は、前記画像内に認識される人物の顔の画像領域が複数ある場合には、当該複数の顔画像領域の面積を相対的に比較して１以上の顔画像領域を選択し、当該選択された顔画像領域に対してコメント入力領域を配置する
   コメントレイアウト装置。
4. 請求項１ないし３のいずれかに記載のコメントレイアウト装置であって、
   前記コメント配置手段は、前記画像内に認識される人物の顔の画像領域が所定人数以上である場合には、該顔の画像領域に対応付けた前記コメント入力領域の配置に代えて、当該画像の全体に対して、一の該コメント入力領域を配置する
   コメントレイアウト装置。
5. 請求項１ないし４のいずれかに記載のコメントレイアウト装置であって、
   前記コメント入力領域を、吹き出しの形状で形成したコメントレイアウト装置。
6. 請求項５に記載のコメントレイアウト装置であって、
   前記吹き出しの形状は、前記入力するコメントを囲う境界線部と、該境界線部の一部から突出した鋭角形状の引き出し部とを備え、
   前記コメント配置手段は、前記引き出し部を、前記顔の画像領域の前記基準位置に基づく所定位置から引き出して、前記吹き出しを配置する
   コメントレイアウト装置。
7. 請求項１ないし６のいずれかに記載のコメントレイアウト装置であって、
   前記コメント配置手段は、前記コメント入力領域を対応付ける前記顔画像領域に影響を与えない位置に、当該コメント入力領域を配置するコメントレイアウト装置。
8. 請求項１ないし７に記載のコメントレイアウト装置であって、
   前記コメント配置手段は、前記コメント入力領域を、前記画像内に収めて配置するコメントレイアウト装置。
9. 複数の画像からアルバムを作成し、当該アルバム内の画像に、テキスト形式のコメントを入力するコメント入力領域を配置するアルバム作成装置であって、
   前記複数の画像の画像データを記憶する画像データベースと、
   前記写真画像データベースに記憶された画像データの中から、前記アルバムの作成に用いる画像を選定し、当該選定された画像の画像データを読み込む選択手段と、
   前記読み込まれた画像データを、所定のレイアウトの情報に従って配置する画像レイアウト手段と、
   前記所定のレイアウト上の画像データに対して、前記コメント入力領域を配置するコメントレイアウト装置とを備え、
   前記コメントレイアウト装置は、
   前記所定のレイアウト上の画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する画像情報検出手段と、
   前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置するコメント配置手段と、
   前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する記憶手段とから形成した
   アルバム作成装置。
10. テキスト形式のコメントを入力するコメント入力領域を、一の対象画像に配置するコメントレイアウト装置を制御するコンピュータプログラムであって、
    前記対象画像の画像データを読み出し、該画像データの有する画素の情報から当該画像内の人物の顔の画像領域を認識し、該認識した顔の画像領域における所定の基準位置の情報を検出する機能と、
    前記検出した基準位置の情報に基づいて、前記コメント入力領域を、前記顔の画像領域に対応付けて配置する機能と、
    前記配置したコメント入力領域に関する情報を、前記対象画像の画像データに関連付けて記憶する機能と
    をコンピュータに実現させるコンピュータプログラム。
11. 請求項１０に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。

Images