JP2007096816A - 画像合成装置、画像合成プログラム、および画像合成プログラム記憶媒体 - Google Patents

Abstract

【課題】 撮影画像に文を手軽に嵌め込むことができる画像合成装置、画像合成プログラム、および画像合成プログラム記憶媒体を提供することを目的とする。
【解決手段】 被写体が撮影された画像を取得する画像取得部と、１つ以上の文で構成されたテキストを取得するテキスト取得部と、画像取得部で取得された画像の被写体を分析し、所定の基準に従って画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、画像中の非重要領域中にテキストを構成する文の全部又は一部を嵌め込んで合成画像を生成する画像合成部とを備えた。
【選択図】 図６

Description

本発明は、画像に文を合成する画像合成装置、画像合成プログラム、および画像合成プログラムを記憶している画像合成プログラム記憶媒体に関する。

近年、デジタルカメラの小型化が急速に進んできたことに加えて、日ごろから常に携帯している携帯電話などといった小型機器に撮影機能が搭載されてきており、撮影装置を手軽に持ち運ぶことができるようになってきている。デジタルカメラや小型機器に搭載された撮影装置では、デジタルの撮影画像が取得されるため、撮影画像を表示画面に表示して確認し、不要な撮影画像をプリント出力する前に削除することができ、必要な撮影画像のみをコンパクトに保管することができる。

また、近年では、通信技術の著しい向上や、通信費用の低下などに伴って、電子メールが一般的な情報伝達の手段として広く用いられてきており、上述したデジタルの撮影画像を電子メールに添付して、電子メールと撮影画像とを一緒に家族や友人に送ることが広範に行われている。特に、携帯電話には、上述した撮影機能に加えて、電子メールを送受信するための電子メール機能も広く搭載されており、撮影画像をその場ですぐに電子メールとともに送ることができるため、撮影画像が添付された電子メールを使ったコミュニケーションが日常的なものとなっている。撮影画像を電子メールに添付することによって、電子メールの送信者は、撮影画像をあいさつ文などと一緒に気軽に送ることができ、電子メールを受信した受信者は、電子メールの内容を確認するとともに、必要な撮影画像のみを記録媒体に記録したり、プリント出力することができる。

以上のように、撮影画像を電子メールに添付して送受信することが日常的になってきた中で、撮影画像と電子メールの文とを一緒にプリント出力したいという要求が高まってきている。しかし、撮影画像上に電子メールの文を機械的に嵌め込んでしまうと、人物や観光名所などといった重要な被写体が文によって隠れてしまったり、不必要な文までもがプリント出力されてしまうなどという問題がある。この点に関し、特許文献１には、電子メールの送信者が、撮影画像に嵌め込む文、文字の大きさ、文を嵌め込む位置などを指定し、指定内容が記された電子メールに撮影画像を添付する技術について記載されている。特許文献１に記載された技術によると、受信側では、送信者によって指定された指定内容に従って撮影画像に文が嵌め込まれるため、必要な文のみが所望の位置に嵌め込まれた撮影画像をプリント出力して保管することができる。
特開２００３−１５９８４９号公報

しかし、特許文献１に記載された技術では、電子メールの送信者が文の嵌め込み位置などを逐一指定する必要があり、大変な手間が掛かってしまうという問題がある。

尚、上述した問題は、電子メールのみに限らず、画像に文を嵌め込む際に一般的に生じる問題である。

本発明は、上記事情に鑑み、撮影画像に文を手軽に嵌め込むことができる画像合成装置、画像合成プログラム、および画像合成プログラムを記憶している画像合成プログラム記憶媒体を提供することを目的とする。

上記目的を達成する本発明の画像合成装置は、被写体が撮影された画像を取得する画像取得部と、
１つ以上の文で構成されたテキストを取得するテキスト取得部と、
画像取得部で取得された画像の被写体を分析し、所定の基準に従って画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、
画像中の、領域分類部で分類された非重要領域中にテキスト取得部で取得されたテキストを構成する全文又は一部の文を嵌め込んで合成画像を生成する画像合成部とを備えたことを特徴とする。

本発明の画像合成装置によると、画像中の領域が、相対的に重要な被写体が写っている重要領域と、重要領域以外の非重要領域とに分類され、非重要領域中に自動的に文が嵌め込まれる。したがって、ユーザが文の嵌め込み位置などを逐一指定する手間を省くことができるとともに、重要な被写体が文によって隠れてしまう不具合を回避することができる。

また、本発明の画像合成装置において、上記画像合成部は、非重要領域のうち、画像の中央を含まない非重要領域中に文を嵌め込むものであることが好ましい。

非重要領域のうち、画像の中央を含まない非重要領域中に文が嵌め込まれることによって、見た目の違和感が軽減される。

また、本発明の画像合成装置において、上記画像合成部は、非重要領域のうち、嵌め込み対象の文が納まる広さを有する非重要領域中に文を嵌め込むものであることが好適である。

本発明の好適な形態の画像合成装置によると、文が重要領域にはみ出すことを防止することができる。

また、本発明の画像合成装置において、上記領域分類部が、画像中の、人物が写っている領域を重要領域に分類するものであることが好ましい。

人物が写っている領域が重要領域に分類されることによって、重要な被写体である人物の邪魔にならないように文が嵌め込まれる。

また、本発明の画像合成装置において、上記領域分類部が、画像中の、特定の被写体が写っている領域を重要領域に分類するものであることが好ましい。

特定の被写体が写っている領域を重要領域が重要領域に分類されることによって、富士山などといった重要な被写体が写っている領域を除く領域に文を嵌め込むことができる。

また、本発明の画像合成装置において、上記領域分類部が、画像中の、テキスト中の言葉と関連する被写体が写っている領域を探索し、領域を重要領域に分類するものであることが好ましい。

テキスト中の言葉と関連する被写体が写っている領域が重要領域に分類されることによって、重要な被写体が文で隠れてしまう不具合が回避される。

また、本発明の画像合成装置において、
「上記テキストは、複数の文で構成されたものであり、
上記テキスト中の言葉を分析して、テキストを構成する複数の文のうち相対的に重要な文を特定する文特定部を備え、
上記画像合成部は、非重要領域中に、文特定部で特定された文を嵌め込むものである」という形態は好ましい。

相対的に重要な文のみが画像に嵌め込まれることによって、不要な文によって画像が隠れてしまう不具合が回避される。

また、本発明の好適な形態の画像合成装置において、上記文特定部は、テキストを構成する文のうち、特定の固有名詞が含まれている文を相対的に重要な文として特定するものであることも好ましい。

特定の固有名詞が含まれている文を検出することによって、重要な文を確実に効率よく特定することができる。

また、本発明の画像合成装置において、
「画像の被写体を分析してその被写体に関連した言葉を取得する関連分析部を備え、
上記文特定部が、テキストを構成する文のうち、関連分析部で取得された言葉を含んだ文を相対的に重要な文として特定するものである」という形態は好ましい。

画像中の被写体に関連する言葉を含んだ文が重要な文として特定されることによって、画像に適した文が画像中に嵌め込まれる。

また、本発明の画像合成装置において、上記画像合成部は、文を嵌め込むに当たり、その文が嵌め込まれる位置における画像の色に応じた色で嵌め込むものであることが好ましい。

例えば、文が嵌め込まれる位置における画像の色とは反対色で文が嵌め込まれることによって、文を目立たせることができる。

また、本発明の画像合成装置において、上記テキスト取得部は、テキストを電子メールとして取得するものであり、
上記画像取得部は、電子メールに添付された画像を取得するものであることが好ましい。

電子メールの送信者は、通常の電子メールに撮影画像を添付するだけで、電子メールの送信側では、文が嵌め込まれた撮影画像を取得することができる。

また、本発明の画像合成装置において、用紙の表裏面に、それぞれ、画像および文字列をプリント出力する画像出力装置に、画像および文字列として、画像合成部で生成された合成画像、およびテキスト取得部で取得されたテキストを送信する送信部を備えたことが好ましい。

裏印にテキスト全文が印刷されたプリント画像を取得することができる。

また、上記目的を達成する本発明の画像合成装置は、コンピュータ内で実行され、コンピュータ上で、
被写体が撮影された画像を取得する画像取得部と、
１つ以上の文で構成されたテキストを取得するテキスト取得部と、
画像取得部で取得された画像の被写体を分析し、所定の基準に従って画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、
画像中の、領域分類部で分類された非重要領域中にテキスト取得部で取得されたテキストを構成する全文又は一部の文を嵌め込んで合成画像を生成する画像合成部とを構築することを特徴とする。

本発明の画像合成プログラムによると、画像中の、重要な被写体が写っている重要領域以外の非重要領域に文を自動的に嵌め込むことができる。

尚、画像合成プログラムについては、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像合成プログラムには、上記の基本形態のみではなく、前述した画像合成装置の各形態に対応する各種の形態が含まれる。

さらに、本発明の画像合成プログラムがコンピュータシステム上に構築する画像取得部などといった要素は、１つの要素が１つのプログラム部品によって構築されるものであってもよく、複数の要素が１つのプログラム部品によって構築されるものであってもよい。また、これらの要素は、そのような作用を自分自身で実行するものとして構築されてもよく、あるいはコンピュータシステムに組み込まれている他のプログラムやプログラム部品に指示を与えて実行するものとして構築されてもよい。

また、上記目的を達成する本発明の画像合成プログラム記憶媒体は、コンピュータ内で実行され、コンピュータ上で、
被写体が撮影された画像を取得する画像取得部と、
１つ以上の文で構成されたテキストを取得するテキスト取得部と、
画像取得部で取得された画像の被写体を分析し、所定の基準に従って画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、
画像中の、領域分類部で分類された非重要領域中にテキスト取得部で取得されたテキストを構成する全文又は一部の文を嵌め込んで合成画像を生成する画像合成部とを構築する画像合成プログラムを記憶していることを特徴とする。

本発明の画像合成プログラム記憶媒体は、ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯなどといった大容量の記憶媒体のほか、ハードディスクなどであってもよい。

尚、画像合成プログラム記憶媒体についても、ここではその基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう画像合成プログラム記憶媒体には、上記の基本形態のみではなく、前述した画像合成装置の各形態に対応する各種の形態が含まれる。

本発明によれば、撮影画像に文を手軽に嵌め込むことができる。

以下図面を参照して本発明の実施の形態を説明する。

本来、コンピュータにおいては、画像は画像データとして扱われ、その画像データはファイルに格納されて保存されるものであるが、本明細書においては、画像データを単に画像と表現して説明する。

図１は、本発明の画像合成装置の一実施形態が適用された通信システムの一例を示す模式図である。

ここには、電子メール機能を有する２台のパーソナルコンピュータ２００Ａ，および２００Ｂ（以下、これらを代表してパソコン２００と略記する）と、本発明の画像合成装置の一実施形態であり、パソコン２００に向けて送信されてきた電子メールを仲介するメールサーバ１００と、メールサーバ１００からの指示に従って用紙の表裏面それぞれに画像や文字をプリント出力する両面プリンタ１０１と、パソコン２００、およびメールサーバ１００を相互に接続する通信網１０が示されている。両面プリンタ１０１は、本発明にいう画像出力装置の一例に相当する。尚、実際には、多数のパソコンなどが通信網１０に接続されているが、図１では、図の簡略化のために、本発明の説明に必要なもののみが示されている。

本実施形態では、パソコン２００に向けて送信されてきた電子メールは、一旦メールサーバ１００で受信され、メールサーバ１００内で保存される。また、電子メールに画像が添付されていた場合には、メールサーバ１００において、画像中に電子メールの文が嵌め込まれて合成画像が生成され、生成された合成画像も電子メールと一緒に保存される。パソコン２００からメールサーバ１００に向けて電子メールの受信要求が送信されると、メールサーバ１００に保存された電子メールと合成画像とがパソコン２００に向けて送られて、パソコン２００で受信される。

まずは、メールサーバ１００の構成について説明する。

メールサーバ１００を構成するコンピュータは、外観構成上、本体装置１１０、その本体装置１１０からの指示に応じて表示画面１２１上に画像を表示する画像表示装置１２０、本体装置１１０に、キー操作に応じた各種の情報を入力するキーボード１３０、および、表示画面１２１上の任意の位置を指定することにより、その位置に表示された、例えばアイコン等に応じた指示を入力するマウス１４０を備えている。この本体装置１１０は、外観上、フレキシブルディスク（以下、ＦＤと省略する）を装填するためのＦＤ装填口１１１、およびＣＤ−ＲＯＭを装填するためのＣＤ−ＲＯＭ装填口１１２を有する。

図２は、メールサーバ１００を構成するコンピュータのハードウェア構成図である。

本体装置１１０の内部には、図２に示すように、各種プログラムを実行するＣＰＵ１１３、ハードディスク装置１１５に格納されたプログラムが読み出されＣＰＵ１１３での実行のために展開される主メモリ１１４、各種プログラムやデータ等が保存されたハードディスク装置１１５、ＦＤ４００をアクセスするＦＤドライブ１１６、ＣＤ−ＲＯＭ４０１が装填され、その装填されたＣＤ−ＲＯＭ４０１をアクセスするＣＤ−ＲＯＭドライブ１１７、外部装置から画像を入力する入力インタフェース１１８、画像を外部装置に出力する出力インタフェース１１９が内蔵されており、これらの各種要素と、さらに図１にも示す画像表示装置１２０、キーボード１３０、マウス１４０は、バス１５０を介して相互に接続されている。

ＣＤ−ＲＯＭ４０１には、メールサーバ１００を本発明の画像合成装置の一実施形態として動作させるための画像合成プログラムが記憶されている。そのＣＤ−ＲＯＭ４０１はＣＤ−ＲＯＭドライブ１１７に装填され、そのＣＤ−ＲＯＭ４０１に記憶された画像合成プログラムがこのコンピュータにアップロードされてハードディスク装置１１５に記憶される。そして、この画像合成プログラムが起動されて実行されることにより、メールサーバ１００は、本発明の画像合成装置の一実施形態として動作する。

尚、上記では、画像合成プログラムを記憶する記憶媒体としてＣＤ−ＲＯＭ４０１が例示されているが、画像合成プログラムを記憶する記憶媒体はＣＤ−ＲＯＭに限られるものではなく、それ以外の光ディスク、ＭＯ、ＦＤ、磁気テープなどの記憶媒体であってもよい。また、本発明の画像合成プログラムは、記憶媒体を介さずに、入力インタフェース１１８を介して直接にコンピュータに供給されるものであってもよい。

次に、画像合成プログラムについて説明する。

図３は、画像合成プログラムが記憶されたＣＤ−ＲＯＭ４０１を示す概念図である。

図３に示すように、ＣＤ−ＲＯＭ４０１に記憶された画像合成プログラム４１０は、電子メール受信部４１１、領域分類部４１２、領域決定部４１３、文特定部４１４、画像合成部４１５、画像出力部４１６、および電子メール送信部４１７で構成されている。

画像合成プログラム４１０の各部の詳細については、メールサーバ１００の各部の作用と一緒に説明する。

図４は、メールサーバ１００の機能ブロック図である。

メールサーバ１００は、電子メール受信部５１０と、領域分類部５２０と、領域決定部５３０と、文特定部５４０と、画像合成部５５０と、画像出力部５６０と、電子メール送信部５７０と、ＤＢ５８０とを有している。

メールサーバ１００を構成する、電子メール受信部５１０と、領域分類部５２０と、領域決定部５３０と、文特定部５４０と、画像合成部５５０と、画像出力部５６０と、電子メール送信部５７０は、図３に示す画像合成プログラム４１０を構成する、電子メール受信部４１１、領域分類部４１２、領域決定部４１３、文特定部４１４、画像合成部４１５、画像出力部４１６、および電子メール送信部４１７にそれぞれ対応する。

図４の各要素は、コンピュータのハードウェアとそのコンピュータで実行されるＯＳやアプリケーションプログラムとの組合せで構成されているのに対し、図３に示す画像合成プログラム４１０の各要素はそれらのうちのアプリケーションプログラムのみにより構成されている点が異なる。

ユーザがパソコン２００の電子メール機能を利用して電子メールを編集し、所定の電子メールアドレスを宛先に指定すると、パソコン２００から指定された電子メールアドレス宛てに電子メールが送信される。パソコン２００から送信された電子メールは、図４に示すメールサーバ１００の電子メール受信部５１０に一旦受信される。電子メール受信部５１０は、受信した電子メールや、その電子メールに添付された画像を電子メールアドレスと対応付けてＤＢ５８０に登録するとともに、電子メールを文特定部５４０に送り、電子メールに添付された画像を領域分類部５２０に送る。この電子メール受信部５１０は、本発明にいう画像取得部の一例にあたるとともに、本発明にいうテキスト取得部の一例に相当する。

文特定部５４０は、分類部５４１と、決定部５４２とで構成されている。分類部５４１は、電子メール受信部５１０から送られてきた電子メールに含まれる文を複数の要素に大まかに分類する。分類結果は決定部５４２に伝えられる。決定部５４２は、電子メール中に含まれた固有名詞を画像キーワードに決定し、さらに、分類結果に従って、電子メールに含まれた文のうち重要な文を決定する。重要な文の決定方法については、後で詳しく説明する。決定された重要な文は、領域決定部５３０に伝えられるとともに、重要な文と電子メールの全文は、画像合成部５５０に伝えられる。さらに、決定された画像キーワードは、領域分類部５２０に伝えられる。

領域分類部５２０は、人物検出部５２１と、重要背景検出部５２２とで構成されている。人物検出部５２１は、電子メール受信部５１０から送られてきた画像を分析して、画像中の、人物が写っている人物領域を検出する。また、重要背景検出部５２２は、画像中の、文特定部５４０から伝えられた画像キーワードが表わす重要な背景が写っている重要背景領域を検出する。人物領域、および重要背景領域の検出方法についても、後で詳しく説明する。人物領域、および重要背景領域の検出結果は、領域決定部５３０に伝えられる。領域分類部５２０は、本発明にいう領域分類部の一例に相当する。

領域決定部５３０は、画像中の、人物領域と重要背景領域とを除く非重要領域のうち、文特定部５４０で決定された重要な文を嵌め込む挿入領域を決定する。挿入領域の情報は、画像合成部５５０に伝えられる。

画像合成部５５０は、文特定部５４０から伝えられた重要な文を、画像中の、領域決定部５３０で決定された挿入領域に嵌め込んで、合成画像を生成する。生成された合成画像は、電子メールアドレスと対応付けてＤＢ５８０に登録される。領域決定部５３０と画像合成部５５０とを合わせたものは、本発明にいう画像合成部の一例に相当する。

電子メールを閲覧するときには、ユーザは、図１に示すパソコン２００の電子メール機能を使って、メールサーバ１００に、自分の電子メールアドレス宛てに送信された電子メールの受信を要求する受信要求を送る。電子メール送信部５７０は、ＤＢ５８０から受信要求が示す電子メールアドレスと対応付けられた電子メールを取得するとともに、その電子メールアドレスと対応付けられた合成画像の保存先アドレスを電子メールに追記する。さらに、電子メール送信部５７０は、合成画像の保存先アドレスが追記された電子メールを受信要求が送られたパソコン２００に向けて送信する。

ユーザがパソコン２００を使って電子メールの内容を確認し、電子メールに追記された保存先アドレスへのアクセスを指示すると、指示内容が画像出力部５６０に伝えられる。画像出力部５６０は、ＤＢ５８０の保存先アドレスにアクセスして合成画像を取得し、取得した合成画像をパソコン２００に送る。

また、ユーザがパソコン２００に送られてきた合成画像を確認し、その合成画像をプリント出力するプリント注文を指示すると、指示内容が画像出力部５６０に伝えられる。画像出力部５６０は、プリント注文を受けた合成画像と、その合成画像と対応する電子メールの全文を両面プリンタ１０１に送る。画像出力部５６０は、本発明にいう送信部の一例に相当する。

両面プリンタ１０１では、合成画像が用紙の表面にプリント出力されるとともに、電子メールの全文が用紙の裏面に印字される。合成画像がプリント出力されたプリント画像は、プリント注文を行ったユーザに送られる。

メールサーバ１００は、以上のように構成されている。

ここで、本実施形態のメールサーバ１００においては、電子メールに画像が添付されると、その画像に電子メールの文が嵌め込まれた合成画像が自動的に生成される。以下では、この合成画像の生成方法について説明する。

図５は、画像が添付された電子メールが受信されて、合成画像が生成されるまでの一連の処理の流れを示すフローチャート図であり、図６は、図５のフローチャートに従って電子メールおよび画像が加工される流れを説明するための図である。以下では、図５、および図６に加えて、図４も合わせて参照し、図１に示す左側のパソコン２００Ａのユーザが、右側のパソコン２００Ｂのユーザの電子メールアドレス宛てに電子メールを送信するものとして説明する。

パソコン２００Ａのユーザが、パソコン２００Ａの電子メール機能を使って、図６のパート（Ａ１）に示す電子メールの本文を編集し、さらに撮影画像を添付して、パソコン２００Ｂのユーザの電子メールアドレスを指定すると、パソコン２００Ａから指定された電子メールアドレス宛てに撮影画像が添付された電子メールが送信される。送信された撮影画像付きの電子メールは、図４に示すメールサーバ１００の電子メール受信部５１０に受信される（図５のステップＳ１）。受信された電子メールは、文特定部５４０に伝えられ、添付された撮影画像は、領域分類部５２０に伝えられる。

文特定部５４０の分類部５４１では、伝えられた電子メールを構成する文が複数の要素に分類される（図５のステップＳ２１）。この例では、図６のパート（Ａ２）に示すように、電子メールは２つの文（文１：「おばあちゃん、お元気ですか」、文２：「富士山へ行ってきたよ」）で構成されており、１つ目の文が「おばあちゃん」「お元気ですか」という２つの要素に分類され、２つ目の文が「富士山」「へ」「行ってきたよ」という３つの要素におおまかに分類される。分類結果は、決定部５４２に伝えられる。

メールサーバ１００には、予め、重要な被写体を表わす固有名詞と、その固有名詞が表わす被写体の特徴量（色、形状など）が登録されている。決定部５４２では、まず、分類された要素の中に、予め登録された固有名詞が含まれているか否かが判定される。図６のパート（Ａ２）に示す電子メールでは、図６のパート（Ａ２２）に示すように、１つ目の文には固有名詞が含まれておらず、２つ目の文に「富士山」という固有名詞が含まれている。この例では、メールサーバ１００に、予め、「富士山」という固有名詞と、「富士山」の色や形状などが対応付けて保存されているものとして説明する。決定部５４２では、「富士山」が画像キーワードとして決定され（図５のステップＳ２２）、決定された画像キーワードが領域分類部５２０に伝えられる。

続いて、決定部５４２では、分類された各種要素が点数化されて、それらの合計が最も大きい文が重要な文として決定される。本実施形態においては、分類された要素が、画像キーワード、感情を表わす語句、顔文字、絵文字、および感嘆詞の場合には１点が加えられて、電子メールを構成する各文ごとに合計点が算出される。この例では、１つ目の文の合計点は０点であり、２つ目の文の合計点は画像キーワードである「富士山」の分の１点であり、図６のパート（Ａ２３）に示す２つ目の文「富士山へ行ってきたよ」が重要な文として決定される（図５のステップＳ２３）。決定された重要な文は領域決定部５３０に伝えられ、重要な文と電子メールの全文は画像合成部５５０に伝えられる。

以上のようにして、電子メールの本文から重要な文が決定される。

また、領域分類部５２０では、電子メール受信部５１０から電子メールに添付された画像が伝えられると、人物検出部５２１において、画像中の人物の顔が検出される（図１のステップＳ１１）。まず、図６のパート（Ａ１）に示す画像のうち肌色の領域が抽出されることによって、図６のパート（Ａ１１）に示すように、人物の顔部分が検出される。画像中の顔部分を認識する顔認識技術は、従来から広く行われている技術であるため、本明細書では詳細な説明を省略する。

続いて、図６のパート（Ａ１１）に示す顔部分から下方向に領域が広げられ、図６のパート（Ａ１２）に示すように、画像の人物領域が検出される（図５のステップＳ１２）。このステップＳ１２においては、画像中の顔部分を認識した後で、その顔部分に基づいて服部分を抽出する技術なども利用することができる。検出された人物領域は、重要背景検出部５２２に伝えられる。

重要背景検出部５２２では、画像中の、重要な背景が写っている重要背景領域が検出される（図５のステップＳ１３）。まず、電子メールに添付された画像の、空間周波数が低い低周波成分を抽出した低周波画像が生成される。低周波画像はぼかし画像であり、低周波画像を使って画像を分析することによって、画像の色や形状を抽出しやすくなる。続いて、低周波画像の特徴量（色相、および形状など）が分析され、特徴量に基づいて画像が複数の領域に分類される。ここで、上述したように、メールサーバ１００には、重要な被写体の固有名詞と、その被写体の特徴量（色相、形状）が登録されており、重要背景検出部５２２では、文特定部５４０から伝えられた画像キーワードが表わす被写体の特徴量が取得され、分類された複数の領域のうち、取得された特徴量と同じ特徴量を有する領域が検索される。検索された領域は、画像キーワードが表わす重要な背景が含まれた重要背景領域であると決定される（図５のステップＳ１３）。この例では、文特定部５４０から「富士山」という画像キーワードが伝えられ、「富士山」という固有名詞と対応付けられた特徴量が取得され、画像中の、取得された特徴量と同じ特徴量を有する領域が検索されることによって、図６のパート（Ａ１３）に示すように、「富士山」が含まれる領域が検出される。このように、電子メールから抽出された画像キーワードを利用することによって、重要な背景が写っている領域を効率よく、かつ精度良く検出することができる。検出された人物領域および重要背景領域を表わす情報は、領域決定部５３０に伝えられる。

領域決定部５３０では、画像上の、人物領域と重要背景領域を除く非重要領域のうち、文特定部５４０で検出された重要な文を嵌め込む挿入領域が決定される（図５のステップＳ１４）。領域決定部５３０では、まず、文特定部５４０から伝えられた重要な文の文字数などが取得され、非重要領域のうち、取得された文字数を嵌め込むことができる領域部分が探索される。さらに、探索された領域部分のうち、画像の中央部分を除く端部分の領域が挿入領域として決定される。この例では、画像中の、人物と富士山が写っている領域を除く非重要領域が検出され、図６のパート（Ａ２３）に示す「富士山へ行ってきたよ」という文を嵌め込むことができる領域部分が探索され、さらに、探索された領域部分のうち、図６のパート（Ａ１４）に示す上端の領域Ｐが挿入領域に決定される。画像の中央部分を除く領域を挿入領域に決定することによって、見た目に違和感を与えずに文を嵌め込むことができる。決定された挿入領域の情報は、画像合成部５５０に伝えられる。

画像合成部５５０では、電子メールに添付された画像の、領域決定部５３０で決定された挿入領域に、文特定部５４０で検出された重要な文が、重要背景検出部５２２で分析された挿入領域の色と反対色の文字色で嵌め込まれ、合成画像が生成される（図５のステップＳ２）。この例では、図のパート（Ａ１４）に示す領域Ｐに、パート（Ａ２３）に示す文が嵌め込まれ、パート（Ａ２＿１）に示すような合成画像が生成される。背景と反対色で文が嵌め込まれることによって、文を目立たせることができる。

生成された合成画像は、図４に示すＤＢ５８０に登録され、図１のパソコン２００Ｂのユーザの指示に従って、合成画像の保存先アドレスが追記された電子メールがパソコン２００Ｂに送信される。パソコン２００Ｂのユーザは、電子メールに追記された保存先アドレスへのアクセスを要求することによって、パート（Ａ２＿１）に示す合成画像を閲覧することができる。また、ユーザが合成画像のプリント注文を指示すると、指示内容が画像出力部５６０に伝えられ、画像出力部５６０によって、合成画像と電子メールの全文とが両面プリンタ１０１に送られる。両面プリンタ１０１では、用紙の表面にパート（Ａ２＿１）に示す合成画像がプリント出力され、用紙の裏面にパート（Ａ２＿２）に示す電子メールの全文が印字される。このように、本実施形態のメールサーバ１００によると、パソコン２００Ａ，２００Ｂのユーザが画像上の挿入領域や文などを指定しなくても、自動的に画像に電子メールの文が嵌め込まれ、画像と電子メールの文とを一緒に保管することができる。

以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。本発明の第２実施形態は、第１実施形態とほぼ同様の構成を有しているため、図４および図５を第２実施形態の説明でも流用し、第１実施形態との相違点についてのみ説明する。

近年、重要な被写体である人物に正確に焦点を合わせるために、被写体を撮影する前にスルー画像などを取得しておき、そのスルー画像を使って、人物の顔が含まれた顔領域を検出し、顔領域におけるオートフォーカス処理を実行することが考案されている。本実施形態においては、オートフォーカス時に検出された顔領域の情報が撮影画像に付加されているものとして説明する。

図７は、図５のフローチャートに従って電子メールおよび画像が加工される流れを説明するための図である。以下では、図４、図５、および図７を使って説明する。

本実施形態においても、第１実施形態と同様に、図７のパート（Ｂ１）に示すような電子メールが受信され（図５のステップＳ１）、電子メールに添付された画像が図４に示す人物検出部５２１に伝えられるが、人物検出部５２１においては、画像に付加された情報が表わす顔領域（図７のパート（Ｂ１１））が画像の顔領域として決定され（図５のステップＳ１１）、その顔領域に基づいて人物領域（図７のパート（Ｂ１２））が決定される（ステップＳ１２）。画像のオートフォーカス時における顔領域の検出結果を利用することによって、画像中の人物領域を高速に決定することができる。

また、電子メールに添付された画像は重要背景検出部５２２にも伝えられ、第１実施形態と同様に、重要背景検出部５２２では、画像に基づいて低周波画像が生成されて画像の特徴量が取得され、その特徴量に応じて画像が複数の領域に分類される。さらに、本実施形態においても、ＤＢ５８０に被写体の固有名詞と特徴量とが対応付けて登録されており、重要背景検出部５２２では、画像中に、登録された特徴量と同様な特徴量を有する領域があるか否かが判定される。さらに、そのような領域があると判定された場合には、その領域が重要背景領域に決定され（図５のステップＳ１３）、さらに、その領域の特徴量と対応付けられた固有名詞が文特定部５４０に伝えられる。重要背景検出部５２２は、本発明にいう関連分析部の一例に相当する。この例では、図７のパート（Ｂ１３）に示すように、画像中の領域Ｑにおける特徴量が、ＤＢ５８０に登録されている「富士山」の特徴量と類似しており、この領域Ｑが重要背景領域に決定されるとともに、「富士山」という固有名詞が文特定部５４０に伝えられる。

重要背景領域が決定されると、第１実施形態と同様に、画像中の、人物領域と重要背景領域とを除く非重要領域から挿入領域（図１４のパート（Ｂ１４）の領域Ｐ）が決定され（図５のステップＳ１４）、決定された挿入領域の情報が画像合成部５５０に伝えられる。

また、図５のステップＳ１で受信された電子メールは図４に示す文特定部５４０に伝えられ、第１実施形態と同様に、分類部５４１において、電子メールを構成する文が複数の要素に分類される（図５のステップＳ２１）。この例では、図７のパート（Ｂ１）に示すように、電子メールは２つの文（文１：「富士山、すごかったよ」、文２：「筑波山より大きかった」）で構成されており、図７のパート（Ｂ２１）に示すように、１つ目の文が「富士山」「すごかったよ」という２つの要素に分類され、２つ目の文が「筑波山」「より」「大きかった」という３つの要素におおまかに分類される。分類結果は、決定部５４２に伝えられる。

決定部５４２では、第１実施形態と同様に、２つの文それぞれに固有名詞が含まれているか否かが判定され、画像キーワードが決定される。この例では、図７のパート（Ｂ２２）に示すように、１つ目の文には「富士山」という固有名詞が含まれており、２つ目の文に「筑波山」という固有名詞が含まれている。本実施形態においては、決定部５４２は、領域分類部５２０から伝えられた固有名詞が電子メールを構成している文中に含まれている場合には、その固有名詞を画像キーワードに決定する。この例では、「富士山」という固有名詞が画像キーワードに決定される。このように、画像の分析結果に応じて画像キーワードが決定されることによって、複数の固有名詞が含まれている場合でも、より重要な固有名詞を確実に選択することができる。

決定部５４２では、画像キーワードが含まれた１番目の文「富士山すごかったよ」が重要な文として決定される（図５のステップＳ２３）。

決定された重要な文は画像合成部５５０に伝えられ、第１実施形態と同様にして、合成画像が生成され（図５のステップＳ２）、図７のパート（Ｂ２＿１）、およびパート（Ｂ２＿２）に示すように合成画像と電子メールの全文それぞれが用紙の表裏面それぞれにプリント出力される。

ここで、上記では、電子メールによってテキストと画像とを取得する例について説明したが、本発明にいう画像取得部およびテキスト取得部は、記録媒体などに記録された画像やテキストを取得するものであってもよい。

また、上記では、文を重要領域にかからないように嵌め込む例について説明したが、本発明にいう画像合成部は、例えば、画像中の、人物が写っている人物領域から吹き出した吹き出し中に文を嵌め込むものであってもよい。

また、上記では、合成画像をそのまま両面プリンタに送信する例について説明したが、本発明の画像合成装置は、合成画像の一部を変更する変更手段を備えたものであってもよい。

また、近年では、１つの画像に対して複数の人物が画像に対する感想などを書き込むチャットアルバムが知られてきている。本発明の画像合成装置は、このようなチャットアルバムシステムに適用されてもよい。

本発明の画像合成装置の一実施形態が適用された通信システムの一例を示す模式図である。 図１に示すコンピュータのハードウェア構成図である。 画像合成プログラムが記憶されたＣＤ−ＲＯＭ４０１を示す概念図である。 メールサーバ１００の機能ブロック図である。 画像が添付された電子メールが受信されて、合成画像が生成されるまでの一連の処理の流れを示すフローチャート図である。 図５のフローチャートに従って電子メールおよび画像が加工される流れを説明するための図である。 図５のフローチャートに従って電子メールおよび画像が加工される流れを説明するための図である。

符号の説明

１ 通信システム
１００ メールサーバ
２００，２００Ａ，２００Ｂ パソコン
１１０ 本体装置
１２０ 画像表示装置
１２１ 表示画面
１３０ キーボード
１４０ マウス
１１１ ＦＤ装填口
１１２ ＣＤ−ＲＯＭ装填口
１１３ ＣＰＵ１１３
１１４ 主メモリ
１１５ ハードディスク装置
１１６ ＦＤドライブ
１１７ ＣＤ−ＲＯＭドライブ
１１８ 入力インタフェース
１１９ 出力インタフェース
１５０ バス
５１０ 電子メール受信部
５２０ 領域分類部
５２１ 人物検出部
５２２ 重要背景検出部
５３０ 領域決定部
５４０ 文特定部
５４１ 分類部
５４２ 決定部
５５０ 画像合成部
５６０ 画像出力部
５７０ メール送信部
５８０ ＤＢ

Claims (14)

1. 被写体が撮影された画像を取得する画像取得部と、
   １つ以上の文で構成されたテキストを取得するテキスト取得部と、
   前記画像取得部で取得された画像の被写体を分析し、所定の基準に従って該画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、
   前記画像中の、前記領域分類部で分類された非重要領域中に前記テキスト取得部で取得されたテキストを構成する全文又は一部の文を嵌め込んで合成画像を生成する画像合成部とを備えたことを特徴とする画像合成装置。
2. 前記画像合成部は、前記非重要領域のうち、前記画像の中央を含まない非重要領域中に文を嵌め込むものであることを特徴とする請求項１記載の画像合成装置。
3. 前記画像合成部は、前記非重要領域のうち、嵌め込み対象の文が納まる広さを有する非重要領域中に文を嵌め込むものであることを特徴とする請求項１記載の画像合成装置。
4. 前記領域分類部が、前記画像中の、人物が写っている領域を重要領域に分類するものであることを特徴とする請求項１記載の画像合成装置。
5. 前記領域分類部が、前記画像中の、特定の被写体が写っている領域を重要領域に分類するものであることを特徴とする請求項１記載の画像合成装置。
6. 前記領域分類部が、前記画像中の、前記テキスト中の言葉と関連する被写体が写っている領域を探索し、該領域を重要領域に分類するものであることを特徴とする請求項１記載の画像合成装置。
7. 前記テキストは、複数の文で構成されたものであり、
   前記テキスト中の言葉を分析して、該テキストを構成する複数の文のうち相対的に重要な文を特定する文特定部を備え、
   前記画像合成部は、前記非重要領域中に、前記文特定部で特定された文を嵌め込むものであることを特徴とする請求項１記載の画像合成装置。
8. 前記文特定部は、前記テキストを構成する文のうち、特定の固有名詞が含まれている文を相対的に重要な文として特定するものであることを特徴とする請求項７記載の画像合成装置。
9. 前記画像の被写体を分析してその被写体に関連した言葉を取得する関連分析部を備え、
   前記文特定部が、前記テキストを構成する文のうち、前記関連分析部で取得された言葉を含んだ文を相対的に重要な文として特定するものであることを特徴とする請求項７記載の画像合成装置。
10. 前記画像合成部は、前記文を嵌め込むに当たり、その文が嵌め込まれる位置における画像の色に応じた色で嵌め込むものであることを特徴とする請求項１記載の画像合成装置。
11. 前記テキスト取得部は、前記テキストを電子メールとして取得するものであり、
    前記画像取得部は、前記電子メールに添付された画像を取得するものであることを特徴とする請求項１記載の画像合成装置。
12. 用紙の表裏面に、それぞれ、画像および文字列をプリント出力する画像出力装置に、該画像および該文字列として、前記画像合成部で生成された合成画像、および前記テキスト取得部で取得されたテキストを送信する送信部を備えたことを特徴とする請求項１記載の画像合成装置。
13. コンピュータ内で実行され、該コンピュータ上で、
    被写体が撮影された画像を取得する画像取得部と、
    １つ以上の文で構成されたテキストを取得するテキスト取得部と、
    前記画像取得部で取得された画像の被写体を分析し、所定の基準に従って該画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、
    前記画像中の、前記領域分類部で分類された非重要領域中に前記テキスト取得部で取得されたテキストを構成する全文又は一部の文を嵌め込んで合成画像を生成する画像合成部とを構築することを特徴とする画像合成プログラム。
14. コンピュータ内で実行され、該コンピュータ上で、
    被写体が撮影された画像を取得する画像取得部と、
    １つ以上の文で構成されたテキストを取得するテキスト取得部と、
    前記画像取得部で取得された画像の被写体を分析し、所定の基準に従って該画像中の領域を、相対的に重要な被写体が写っている重要領域と、その重要領域以外の非重要領域とに分類する領域分類部と、
    前記画像中の、前記領域分類部で分類された非重要領域中に前記テキスト取得部で取得されたテキストを構成する全文又は一部の文を嵌め込んで合成画像を生成する画像合成部とを構築する画像合成プログラムを記憶していることを特徴とする画像合成プログラム記憶媒体。

Images