JP2005196481A - 画像形成装置、画像形成方法、およびプログラム - Google Patents

Abstract

【課題】 撮影時の状況をリアルに再現することの可能な電子アルバムを効率的に作成できるようにする。
【解決手段】 画像とコメントを管理するアルバムデータを記憶するアルバムデータ記憶部１１と、アルバムデータで管理される画像を取得する画像取得部１２と、取得された画像の中から主要被写体を特定する主要被写体特定部１３と、特定された主要被写体の情報を画像解析情報として記憶する画像解析情報記憶部１４と、主要被写体の中から発言主体を特定する発言主体特定部１５と、発言主体の位置に基づきフキダシを生成する領域を決定する領域決定部１６と、決定された領域にフキダシを生成するフキダシ生成部１７とを備えた。
【選択図】 図２

Description

本発明は、画像に関するコメントを囲むためのフキダシをその画像に付加することが可能な画像形成装置等に関する。なお、「フキダシ」とは、漫画等で用いられる表現技法であり、人物の口から吹き出すような形で描かれる台詞の囲みのことをいう。

撮影した写真からアルバムを作成することは、従来から広く行われている。また、近年では、写真がデジタルデータとして扱えるようになったことから、パーソナルコンピュータ等で電子アルバム作成ソフトウェアを動作させて、効率的にアルバムを作成することも可能になっている。
ところで、アルバムにおいては、写真を撮影した時の状況を後々鮮明に思い起こすことができるように、様々なコメントを写真に添えて残しておくことが多い。そのようなコメントは、紙の写真を用いたアルバムでは、写真とは別の紙片に記入してアルバムに貼り付けていた。一方、電子アルバム作成ソフトウェアでは、画面上にコメント枠を表示し、その中に自由にコメントを記入できるようにする工夫もなされている(例えば、特許文献１参照。)。

特開２００２−４９９０７号公報(第６頁、第５図)

しかしながら、特許文献１に記載されたような、コメント枠にコメントを記入する方法では、コメントが常にアルバム作成者の視点からの説明的なものとなってしまい、アルバムとしての面白さに欠けるという問題点があった。写真を撮影した時の被写体の発言を、アルバム上でも実際にその被写体が発言しているかのような表現方法で残しておいた方が、撮影時の状況をリアルに再現するアルバムを作成する観点からは好まれることもある。

本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、撮影時の状況をリアルに再現することの可能な電子アルバムを効率的に作成できるようにすることにある。

かかる目的のもと、本発明は、画像上のフキダシを生成する位置を、画像から抽出された主要被写体との関係で自動的に決定するようにしている。即ち、本発明の画像形成装置は、画像に関するコメントを囲むためのフキダシの生成要求に応じて、その画像上で主要被写体を特定する主要被写体特定部と、この主要被写体特定部により特定された主要被写体の画像上での位置に基づき、フキダシを生成する領域を決定する領域決定部と、この領域決定部により決定された領域にフキダシを生成するフキダシ生成部とを備えている。

また、本発明は、画像上のフキダシを生成する位置を、画像から抽出された主要被写体との関係で自動的に決定する方法として捉えることもできる。その場合、本発明の画像形成方法は、画像に関するコメントを囲むためのフキダシの生成要求に応じて、その画像上で主要被写体を特定するステップと、特定された主要被写体の画像上での位置に基づき、フキダシを生成する領域を決定するステップと、決定された領域にフキダシを生成するステップとを含んでいる。

一方、本発明は、画像上のフキダシを生成する位置を、画像から抽出された主要被写体との関係で自動的に決定する機能をコンピュータに実現させるためのコンピュータプログラムとして捉えることもできる。その場合、本発明のプログラムは、コンピュータに、画像に関するコメントを囲むためのフキダシの生成要求に応じて、その画像上で主要被写体を特定する機能と、特定された主要被写体の画像上での位置に基づき、フキダシを生成する領域を決定する機能と、決定された領域にフキダシを生成する機能とを実現させる。

本発明によれば、撮影時の状況をリアルに再現することの可能な電子アルバムを効率的に作成することが可能となる。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本発明の実施の形態が適用される画像形成装置のハードウェア構成の一例を示したものである。この画像形成装置は、処理部１０と、スキャナ部２０と、プリンタ部３０と、メディアリーダ４０と、ＵＩ(ユーザインターフェース)部５０と、記憶装置６０とから構成される。

処理部１０は、例えば、パーソナルコンピュータであり、図示しないが、中央処理装置(ＣＰＵ)、メインメモリ、これらを結合するバス等を含んでいる。スキャナ部２０は、プラテン上に配置された原稿を読み取って処理部１０に伝える手段であり、プリンタ部３０は、処理部１０から伝えられたイメージを用紙に転写して出力する手段である。
メディアリーダ４０は、フラッシュメモリ等のデジタルカメラ等で用いられる記録媒体から、電子アルバム上に配置する画像を読み出す機能を有するものである。また、画像に関するコメントが、例えば、テキスト情報として記録されている場合、メディアリーダ４０は、そのコメントを同時に読み出すことも可能である。
ＵＩ部５０は、ユーザが処理部１０にデータを入力したり、処理部１０がユーザに情報を提示したりするために用いられる部分であり、例えば、タッチパネルディスプレイである。

記憶装置６０は、例えば、ハードディスクデバイス(ＨＤＤ)であり、種々の情報を記憶する。その１つは、アルバムデータである。ここで、アルバムデータとは、電子アルバム上に配置する画像のデータと、画像に関するコメントのデータと、これらのデータをどのように配置して電子アルバムを構成するかを示す管理情報とからなるデータである。また、処理部１０に後述する各機能を実現させるコンピュータプログラムも記憶される。このコンピュータプログラムは、記録媒体からインストールされたものであってもよいし、インターネット等の通信回線を介してダウンロード後、インストールされたものであってもよい。さらに、このコンピュータプログラムが用いるデータも記憶される。

なお、このハードウェア構成はあくまで一例であり、これらの構成の全てを備えたシステムのみに限定するものではない。例えば、図１では、プリンタ機能に加えてコピー機能をも有する複合機を想定しているため、スキャナ部２０が備わっているが、これを備えないシステムであってもよい。
また、画像形成装置は、図１に示すように、ＬＡＮ(Local Area Network)、ＷＡＮ(Wide Area Network)等のネットワークに接続されていてもよい。

次に、図２を参照して、本実施の形態における処理部１０の機能構成を説明する。
図２に示すように、処理部１０は、アルバムデータ記憶部１１と、画像取得部１２と、主要被写体特定部１３と、画像解析情報記憶部１４と、発言主体特定部１５と、領域決定部１６と、フキダシ生成部１７とを備えている。
アルバムデータ記憶部１１は、アルバムデータを記憶する部分であり、画像取得部１２は、アルバムデータ記憶部１１に記憶されたアルバムデータの中から指定された画像を取得する部分である。主要被写体特定部１３は、画像取得部１２が取得した画像を解析し、フキダシを付加する対象となり得る主要被写体を特定する部分であり、画像解析情報記憶部１４は、主要被写体特定部１３による解析結果である画像解析情報を記憶する部分である。
発言主体特定部１５は、主要被写体特定部１３が特定した主要被写体の中から、フキダシを付する対象とする１の被写体を発言主体として特定する部分であり、領域決定部１６は、発言主体特定部１５が特定した発言主体に対し、左、右、上、下等のどの領域にフキダシを生成するかを決定する部分である。フキダシ生成部１７は、領域決定部１６が決定した領域にフキダシを生成する部分である。

次に、図３を参照しながら、本実施の形態における処理部１０の動作について説明する。まず、動作の開始に先立ち、アルバムデータ記憶部１１にはアルバムデータが記憶されているものとする。
例えば、新規に電子アルバムを作成する場合、処理部１０は、記録媒体に記録された画像とコメントとをメディアリーダ４０を介して読み込み、各画像およびコメントをアルバム領域上の既定の位置に配置してＵＩ部５０に表示する。この場合は、その表示されたアルバム領域の構成に関する情報がアルバムデータとしてアルバムデータ記憶部１１に記憶される。
また、一回作成された電子アルバムの編集を行う場合、処理部１０は、記憶装置６０からアルバムデータを読み込み、アルバムデータ記憶部１１に展開する。
このような状態で、ある画像に対し、コメントをフキダシの形式で付加する指示がなされると、図３に示した処理が行われる。

まず、画像取得部１２は、アルバムデータ記憶部１１に記憶されたアルバムデータを参照し、指定された画像を取得する(ステップ１０１)。
次に、主要被写体特定部１３は、画像取得部１２が取得した画像を解析し、その結果を画像解析情報記憶部１４に記憶する(ステップ１０２)。具体的には、フキダシを付する対象である主要被写体、例えば、人物の顔を抽出し、その位置情報を画像解析情報として記憶する。そして、人物が何人抽出されたかを判断する(ステップ１０３)。

人物が１人も抽出されなかった場合、画像に対するコメントを普通の形式で表示するような設定がなされる(ステップ１０４)。
一方、人物が１人だけ抽出された場合、発言主体特定部１５は、その人物を、フキダシを付する対象に決定する(ステップ１０５)。そして、領域決定部１６が、その人物とアルバム領域の末端や他の画像との間隔に基づき、その人物の左、右、上、下等のいずれの領域にフキダシを配置するかを決定し、フキダシ生成部１７に伝える(ステップ１０６)。これにより、フキダシ生成部１７は、コメントを囲むためのフキダシがその決定された領域に表示されるように設定する(ステップ１０９)。
また、人物が２人以上抽出された場合、発言主体特定部１５は、それらの人物の中からフキダシを付する１人の人物を特定する(ステップ１０７)。そして、領域決定部１６が、その人物とアルバム領域の末端や他の画像、さらには、他の人物との間隔に基づき、その人物の左、右、上、下等のいずれの領域にフキダシを配置するかを決定し、フキダシ生成部１７に伝える(ステップ１０８)。これにより、フキダシ生成部１７は、コメントを囲むためのフキダシがその決定された領域に表示されるように設定する(ステップ１０９)。

以下、本実施の形態の動作について、具体例を用いて説明する。
本具体例では、図４に示すようなアルバムイメージがＵＩ部５０に表示されているものとする。この段階では、画像５１、５３、５５にそれぞれ対応するコメント５２、５４、５６は、フキダシの形式ではなく、通常の形式で表示されている。
また、このようなアルバムイメージを表示するために、図５に示すようなアルバムデータがアルバムデータ記憶部１１に記憶されている。

ここで、図５のアルバムデータについて詳細に説明しておく。
まず、アルバムデータには、アルバム領域のサイズを示す情報を含むヘッダ部分が存在する(図５では、第１行目)。図５に示すように、ヘッダ部分には、アルバム領域の横幅Ｈ_Ａ、縦幅Ｖ_Ａが記憶されている。
また、ヘッダに続けて、各画像とそれに対するコメントを管理するための部分が存在する(図５では、第２行目〜第４行目)。例えば、画像５１およびコメント５２について、画像５１の左下の点のＸ座標Ｘ_Ｐ１、Ｙ座標Ｙ_Ｐ１、横幅Ｈ_Ｐ１、縦幅Ｖ_Ｐ１、実際の画像データが格納された領域へのポインタＰＴＲ_Ｐ１、画像データの長さＬＥＮ_Ｐ１、コメント５２の枠の左下の点のＸ座標Ｘ_Ｔ１、Ｙ座標Ｙ_Ｔ1、横幅Ｈ_Ｔ１、縦幅Ｖ_Ｔ１、実際のコメントデータが格納された領域へのポインタＰＴＲ_Ｔ１、コメントデータの長さＬＥＮ_Ｔ１、コメントを囲む枠の種類が記憶されている。画像５３およびコメント５４、画像５５およびコメント５６についても同様である。
さらに、これらの管理情報に続けて、実際の画像のデータおよびコメントデータを格納する領域が存在する。

まず、図４の画像５１に対し、コメント５２をフキダシの形式で表示する指示がなされたとして、図３の動作を説明する。
この場合、ステップ１０１で、画像取得部１２が、図５のＰＴＲ_Ｐ１、ＬＥＮ_Ｐ１を参照し、画像５１のデータを取得する。次に、ステップ１０２で、主要被写体特定部１３が、画像５１から人物の抽出を試みる。しかしながら、この例の場合は、人物は抽出されない。従って、ステップ１０３での判断は「０」となり、ステップ１０４に進み、図５のアルバムデータを、コメント５２が普通の形式で表示されるような設定とする。なお、本具体例では、最初からコメント５２は普通の形式で表示されていたので、図４のアルバムイメージおよび図５のアルバムデータが変更されることはない。

次に、図４の画像５３に対し、コメント５４をフキダシの形式で表示する指示がなされたとして、図３の動作を説明する。
この場合、ステップ１０１で、画像取得部１２が、図５のＰＴＲ_Ｐ２、ＬＥＮ_Ｐ２を参照し、画像５３のデータを取得する。次に、ステップ１０２で、主要被写体特定部１３が、画像５３から人物の抽出を試みる。この例の場合、人物は１人だけ抽出されるので、解析結果としては、図６(Ａ)に示すように、その人物に関する情報のみが画像解析情報記憶部１４に記憶される。

図６(Ａ)の画像解析情報は、少なくとも抽出された人物の位置情報を含んでいる。この位置情報としては、如何なるものを用いてもよいが、図６(Ａ)では、画像５３の左下の点を原点とした場合のその人物の顔の中心の座標(ｘ_２，ｙ_２)をアルバム領域上の座標に変換して得られた座標(Ｘ_Ｐ２＋ｘ_２，Ｙ_Ｐ２＋ｙ_２)と、顔の半径ｒ_２とが記憶される。
この場合、ステップ１０３での判断は「１」となり、ステップ１０５に進み、その人物にフキダシを付けることを決定する。そして、ステップ１０６で、その人物と、アルバム領域の末端、他の画像との間隔に基づき、その人物の左、右、上、下等のいずれの領域にフキダシを生成するかを決定する。

このフキダシを生成する領域の決定方法についてさらに詳しく述べる。
本実施の形態では、フキダシを付する人物の周囲の最も大きなフキダシを配置可能な領域を、フキダシを生成する領域として決定することとする。
まず、画像５３の人物の左側にフキダシを生成することとした場合、アルバム領域の左端からその人物までの距離、画像５３の縦幅を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、(Ｘ_Ｐ２＋ｘ_２−ｒ_２)×Ｖ_Ｐ２となる。
また、画像５３の人物の右側にフキダシを生成することとした場合、アルバム領域の右端からその人物までの距離、画像５３の縦幅を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、(Ｈ_Ａ−Ｘ_Ｐ２−ｘ_２−ｒ_２)×Ｖ_Ｐ２となる。
また、画像５３の人物の上側にフキダシを生成することとした場合、アルバム領域の横幅、画像５１の下端からその人物までの距離を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、Ｈ_Ａ×(Ｙ_Ｐ１−Ｙ_Ｐ２−ｙ_２−ｒ_２)となる。
さらに、画像５３の人物の下側にフキダシを生成することとした場合、アルバム領域の横幅、画像５５の上端からその人物までの距離を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、Ｈ_Ａ×(Ｙ_Ｐ２＋ｙ_２−ｒ_２−Ｙ_Ｐ３−Ｖ_Ｐ３)となる。

ステップ１０６では、領域決定部１６がこの中の１つをフキダシを生成する領域として決定し、ステップ１０９で、フキダシ生成部１７がその領域にフキダシを生成する。例えば、右側に最も大きなフキダシを生成可能だとすると、フキダシに入れるコメントの文字数等に基づき適宜調整し、図７にフキダシ５４ｆとして示すような表示を行う。また、この時、アルバムデータに対しては、図８の第３行目に示すように、フキダシ５４ｆの位置情報(Ｘｆ_Ｔ２，Ｙｆ_Ｔ２，Ｈｆ_Ｔ２，Ｖｆ_Ｔ２)を記憶する。また、コメント５４をフキダシの形式で表示する指示がなされた際に選択されたフキダシの種類が「フキダシ＃１」だとすると、コメントを表示する形式として「フキダシ＃１」が記憶される。

次に、図４の画像５５に対し、コメント５６をフキダシの形式で表示する指示がなされたとして、図３の動作を説明する。
この場合、ステップ１０１で、画像取得部１２が、図５のＰＴＲ_Ｐ３、ＬＥＮ_Ｐ３を参照し、画像５５のデータを取得する。次に、ステップ１０２で、主要被写体特定部１３が、画像５５から人物の抽出を試みる。この例の場合、人物は３人抽出されるので、解析結果としては、図６(Ｂ)に示すように、それら３人の人物に関する情報が画像解析情報記憶部１４に記憶される。

図６(Ｂ)の画像解析情報は、少なくとも抽出された人物の位置情報を含んでいる。この位置情報としては、如何なるものを用いてもよいが、図６(Ｂ)では、画像５５の左下の点を原点とした場合のその人物の顔の中心の座標をアルバム領域上の座標に変換して得られた座標と、顔の半径とが記憶される。つまり、向かって左側の人物については、顔の中心の座標(Ｘ_Ｐ３＋ｘ_３１，Ｙ_Ｐ３＋ｙ_３１)と顔の半径ｒ_３１とが、中央の人物については、顔の中心の座標(Ｘ_Ｐ３＋ｘ_３２，Ｙ_Ｐ３＋ｙ_３２)と顔の半径ｒ_３２とが、向かって右側の人物については、顔の中心の座標(Ｘ_Ｐ３＋ｘ_３３，Ｙ_Ｐ３＋ｙ_３３)と顔の半径ｒ_３３とが記憶される。

この場合、ステップ１０３での判断は「２以上」となり、ステップ１０７に進み、それら３人の人物の中からフキダシを付ける人物を特定する。
ここで、フキダシを付ける人物の特定方法としては、例えば、以下のような方法がある。
第一に、フキダシを付する人物をユーザに問い合わせて指定させる方法がある。例えば、「３人の人物が検出されました。どの人物にフキダシを付けますか。１：一番左の人物、２：中央の人物、３：一番右の人物。」等のメッセージを出力して指定させる方法が考えられる。
第二に、フキダシを付する人物をマウス等のポインティングデバイスを用いて指定する方法がある。例えば、フキダシの図形をポインティングデバイスでドラッグし、フキダシを付したい人物の顔の部分でドラッグすることにより、指定することができる。

第三に、コメントが音声で入力された場合において、画像上の人物の顔の特徴とコメントの音声の特徴とのマッチングにより人物を特定する方法がある。この場合は、ステップ１０２で画像を解析する際に、顔の特徴も解析し、図６(Ｂ)に示すように、特徴情報として記憶しておく必要がある。また、各人物の顔の特徴情報と音声の特徴情報とを対応付けた顔・音声テーブルを事前に登録しておく必要もある。その状態で、まず、フキダシにしたいコメントについて、音声の特徴に基づき、顔・音声テーブルを検索し、その音声に対応する顔の特徴を幾つか候補として取得する。そして、これらの候補の中に図６(Ｂ)に記憶された特徴情報と類似度が高い特徴情報を有するものがあれば、その候補をフキダシを付する対象として決定する。
なお、事前の顔・音声テーブルの登録は、頻繁に被写体となる人物について、予めサンプル画像と音声を入力することによっても可能であるし、アルバム作成の際のユーザによるフキダシと特定の人物とを結びつける操作を学習することによっても可能である。
このようにしてフキダシを付ける人物が特定されると、ステップ１０８で、その人物と、アルバム領域の末端、他の画像、他の人物との間隔に基づき、その人物の左、右、上、下等のいずれの領域にフキダシを生成するかを決定する。

このフキダシを生成する領域の決定方法について、画像５５の３人の人物のうち向かって右側の人物がフキダシを付する人物として特定されたものとして、詳しく説明する。
本実施の形態では、フキダシを付する人物の周囲の最も大きなフキダシを配置可能な領域を、フキダシを生成する領域として決定することとする。
まず、特定された人物の左側にフキダシを生成することとした場合、他の人物の顔にフキダシがかかってしまうので、左側にはフキダシは作成不可能であると判断する。
また、特定された人物の右側にフキダシを生成することとした場合、アルバム領域の右端からその人物までの距離、画像５５の縦幅を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、(Ｈ_Ａ−Ｘ_Ｐ３−ｘ_３３−ｒ_３３)×Ｖ_Ｐ３となる。
また、特定された人物の上側にフキダシを生成することとした場合、アルバム領域の横幅、画像５３の下端からその人物までの距離を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、Ｈ_Ａ×(Ｙ_Ｐ２−Ｙ_Ｐ３−ｙ_３３−ｒ_３３)となる。
さらに、特定された人物の下側にフキダシを生成することとした場合、アルバム領域の横幅、アルバム領域の下端から中央の人物までの距離を、それぞれ横幅、縦幅とするフキダシが作成可能である。その面積は、Ｈ_Ａ×(Ｙ_Ｐ３＋ｙ_３２−ｒ_３２)となる。なお、この場合に、アルバム領域の下端から向かって右側の人物までの距離を縦幅としなかったのは、そのような領域にフキダシを生成した場合、中央の人物の顔が隠れてしまうためである。

ステップ１０８では、領域決定部１６がこの中の１つをフキダシを生成する領域として決定し、ステップ１０９で、フキダシ生成部１７がその領域にフキダシを生成する。例えば、右側に最も大きなフキダシを生成可能だとすると、フキダシに入れるコメントの文字数等に基づき適宜調整し、図７にフキダシ５６ｆとして示すような表示を行う。また、この時、アルバムデータに対しては、図８の第４行目に示すように、フキダシ５６ｆの位置情報(Ｘｆ_Ｔ３，Ｙｆ_Ｔ３，Ｈｆ_Ｔ３，Ｖｆ_Ｔ３)を記憶する。また、コメント５６をフキダシの形式で表示する指示がなされた際に選択されたフキダシの種類が「フキダシ＃２」だとすると、コメントを表示する形式として「フキダシ＃２」が記憶される。
以上により、本実施の形態の動作は終了する。

なお、本実施の形態では、フキダシを付する対象としては人物を主として説明したが、人間以外の動物や、植物、さらには生物の範疇に属さない物体に対しても、これらを擬人化し、フキダシを付する場合はある。フキダシを付する対象として如何なる物体を選択するかは、事前にパラメータとして設定しておき、主要被写体特定部１３がこのパラメータで指定された主要被写体を抽出するようにする。
また、本実施の形態では、画像形成装置にて画像にフキダシを付する処理を行うこととしたが、パーソナルコンピュータ等においても、このような処理を行うことは可能である。

このように、本実施の形態では、電子アルバムの画像に付加するテキストをフキダシにして表示するようにした。これにより、撮影時の状況をリアルに再現することの可能な電子アルバムを作成することが可能となる。
また、画像に複数の主要被写体が含まれる場合のフキダシを付する主要被写体の特定や、フキダシを配置する領域の決定を自動的に行うようにしたことにより、このような電子アルバムの作成がより効率的に行うことが可能となる。

本発明の実施の形態が適用されるシステムのハードウェア構成を示したブロック図である。 本発明の実施の形態における処理部の機能構成を示したブロック図である。 本発明の実施の形態における処理部の動作を示したフローチャートである。 本発明の実施の形態におけるアルバムの表示の一例を示した図である。 本発明の実施の形態におけるアルバムデータの一例を示した図である。 本発明の実施の形態における画像解析情報の一例を示した図である。 本発明の実施の形態におけるアルバムの表示の一例を示した図である。 本発明の実施の形態におけるアルバムデータの一例を示した図である。

符号の説明

１０…処理部、１１…アルバムデータ記憶部、１２…画像取得部、１３…主要被写体特定部、１４…画像解析情報記憶部、１５…発言主体特定部、１６…領域決定部、１７…フキダシ生成部、２０…スキャナ部、３０…プリンタ部、４０…メディアリーダ、５０…ＵＩ部、６０…記憶装置

Claims (9)

1. 画像に関するコメントを囲むためのフキダシの生成要求に応じて、当該画像上で主要被写体を特定する主要被写体特定部と、
   前記主要被写体特定部により特定された前記主要被写体の前記画像上での位置に基づき、前記フキダシを生成する領域を決定する領域決定部と、
   前記領域決定部により決定された前記領域に前記フキダシを生成するフキダシ生成部と
   を備えたことを特徴とする画像形成装置。
2. 前記主要被写体特定部により複数の前記主要被写体が特定された場合に、当該複数の主要被写体の中から、前記コメントの発言主体を特定する発言主体特定部をさらに備えたことを特徴とする請求項１記載の画像形成装置。
3. 前記発言主体特定部は、前記複数の主要被写体のそれぞれの画像上の特徴と、前記コメントの音声上の特徴との比較結果に基づき、前記発言主体を特定することを特徴とする請求項２記載の画像形成装置。
4. 前記領域決定部は、前記主要被写体の周囲の当該主要被写体が存在しない領域の中から、最も大きな前記フキダシを配置可能な領域を、前記フキダシを生成する領域として決定することを特徴とする請求項１記載の画像形成装置。
5. 画像に関するコメントを囲むためのフキダシの生成要求に応じて、当該画像上で主要被写体を特定するステップと、
   特定された前記主要被写体の前記画像上での位置に基づき、前記フキダシを生成する領域を決定するステップと、
   決定された前記領域に前記フキダシを生成するステップと
   を含むことを特徴とする画像形成方法。
6. コンピュータに、
   画像に関するコメントを囲むためのフキダシの生成要求に応じて、当該画像上で主要被写体を特定する機能と、
   特定された前記主要被写体の前記画像上での位置に基づき、前記フキダシを生成する領域を決定する機能と、
   決定された前記領域に前記フキダシを生成する機能と
   を実現するためのプログラム。
7. コンピュータに、
   前記主要被写体を特定する機能で複数の前記主要被写体が特定された場合に、当該複数の主要被写体の中から、前記コメントの発言主体を特定する機能をさらに実現させることを特徴とする請求項６記載のプログラム。
8. 前記発言主体を特定する機能では、前記複数の主要被写体のそれぞれの画像上の特徴と、前記コメントの音声上の特徴との比較結果に基づき、前記発言主体を特定させることを特徴とする請求項７記載のプログラム。
9. 前記領域を決定する機能では、前記主要被写体の周囲の当該主要被写体が存在しない領域の中から、最も大きな前記フキダシを配置可能な領域を、前記フキダシを生成する領域として決定させることを特徴とする請求項６記載のプログラム。

Images