JP2010097331A - 画像処理装置及び表示制御方法 - Google Patents

Abstract

【課題】ふきだし合成印刷機能使用時の操作性の向上を図ることができる画像処理装置を提供する。
【解決手段】ふきだしや文字列のデータを記憶しており、ふきだしや文字列を画像に合成させて印刷することが可能である。そして、画像に合成するふきだし・文字列を選択する際に、印刷対象の画像に含まれる顔の表情の情報を取得し、取得した表情の情報に応じて、ユーザが選択可能な文字列の選択肢が自動的に絞り込まれる。
【選択図】図８

Description

本発明は、画像データ重ねて表示したふきだし中の文字を選択するための画像処理装置及び表示制御方法に関する。

デジタルカメラの普及に伴い、デジタルカメラで撮影された写真画像を手軽に印刷したいという需要に応えるべく、画像処理装置としてのコンパクトフォトプリンタが普及してきている。

近年のコンパクトフォトプリンタは、液晶表示画面を装着しているタイプが主流となっており、印刷候補の写真画像を予め液晶等の表示画面でプレビューしてから印刷している。装着される表示画面も大型化、高解像度化、高画質化が進んでおり、画像を拡大表示して、細部まで確認できるものも出てきている。

そのため、グラフィック・ユーザ・インターフェース（ＧＵＩ）を搭載し、従来、写真画像をそのまま印刷するだけであったものが、フレームやスタンプを追記する等してオリジナル画像を加工して印刷する、付加機能を搭載することが可能になってきている。

画像オブジェクトの代表例として、フレーム、スタンプ、そしてふきだしが挙げられる。フレームは、写真立てやアルバム等で使われるのと同等の写真の装飾枠としての機能を狙ったものであり、スタンプは、写真に貼り付けて装飾効果を高めるものである。また、ふきだしは、漫画等で使われるセリフ（文字列）を表す空間を指すもので、被写体人物の顔のそばに配置される。

本来の意味での「ふきだし」とは、従来、漫画で登場人物のセリフを表現するために絵の中に設けられる空間のことである。楕円形の代わりに雲形の空間を作って、三角形の代わりに連続する小さな楕円を使う（図２の画面２００２）と、楕円の向かう先にいる人物が雲形の空間に入っているセリフを心の中で思っていることを表わす。場面によっては小声で話していることを表わす場合もある。

ふきだしの中の文字を不気味な書体（古印体等）にしたら、恐いことを喋っているという表現になったり、かすれた文字にすると、喉がガラガラの状態だという表現になったりと表現の形は様々である。

通常、コンパクトフォトプリンタの操作部材は、サイズやコストの制約によりボタン数が制限されており、本格的な文字入力機能には対応していない。従って、ふきだし空間を白等の単色無地で印刷し、ユーザが油性ペン等を使ってセリフ（文字列）を記入するのが一般的である。

このようなふきだしを画像に合成する場合に、画像データ中の顔を検出して顔の領域の近くに自動的にふきだしを配置したり、顔領域にふきだしが被らないように制御したりして、ユーザのふきだし剛性設定を補助するシステムもある（特許文献１）。

また、近年、顔の表情、特に、人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔等の良い表情のタイミングで撮影されることが望まれる。そのため、笑顔になったら自動的にシャッターを切るようにする等、デジタルカメラへの表情検出技術の応用が検討されている。

特許文献２で示す既存の表情検出技術では、検出した顔の表情の変化を、定量的に検出できるようにしている。
特開２００７−３１０４８７号公報 特開２００５−２６６９８４号公報

従来技術のふきだし機能は、小さい表示画面とボタン中心の貧弱な構成からなるＧＵＩを使っているため、位置や形状、色等、細かいパラメータを指定するには操作が難しく、使い勝手が良くなかった。また、文字入力機能をサポートしていなかったため、ふきだしの中に文字列を入力することができなかった。

本発明の目的は、ふきだし機能使用時の操作性の向上を図ることができる画像処理装置及びその制御方法を提供することにある。

上記目的を達成するために、請求項１記載の画像処理装置は、画像データに含まれる顔の表情を解析する解析手段と、前記画像データにふきだしを合成して表示手段に表示するための表示制御手段と、前記ふきだしに表示する文字列を切換えることにより、前記ふきだしに表示する文字列を複数の文字列の中から選択する選択手段と、前記選択手段により文字列を選択するときに前記ふきだしに最初に表示する文字列を前記解析手段により解析された表情に応じて決定する決定手段とを有することを特徴とする。

本発明の画像処理装置によれば、ふきだし機能使用時の操作性の向上を図ることができる。

以下、本発明を図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態に係る画像処理装置のブロック構成図である。

図１（ａ）において、画像処理装置（印刷装置）１は、ＰＣ２もしくはメモリカードスロット３に挿入された不図示のメモリカード、もしくはデジタルカメラ／デジタルビデオカメラ等の撮像装置４と、インターフェース１０１を介して接続されている。

以下、画像処理装置１の構成を動作と併せて説明する。

ＰＣ２もしくはメモリカードスロット３に挿入された不図示のメモリカード、もしくは撮像装置４から入力された、不図示の画像データは、インターフェース１０１を介して、受信バッファ１０２に格納される。

受信したＪＰＥＧ画像データは、第１の信号処理部１０３でリサイズや回転等の前処理を施された後、制御部１０４を構成する（ｂ）のＲＡＭ１１４に格納される。

ＲＯＭ１１５に格納されている不図示のプログラムに基づいてＣＰＵ１１３が動作することにより、以下のことが可能である。

即ち、ＲＡＭ１１４に格納された画像データは第１の表示部１０６へのプレビュー表示や、入力部１０５を使った、印刷部数指定や、Ｎ−ＵＰ印刷（１枚の用紙にＮ個の画像を配置して印刷）やトリミング等の印刷指示が可能である。

尚、本発明で言及している顔検出処理は第１の信号処理部１０３、表情検出処理は第２の信号処理部１０９で行われる。検出結果は、画像ファイルのＥＸＩＦタグに記録することで、各信号処理部で共有することも可能である。第１の信号処理部１０３では、顔検出処理を実行可能であり、第２の信号処理部１０９には、表情検出処理を実行可能である。

ユーザが、ＧＵＩを使い、入力部１０５の操作ボタン等を操作して画像データの印刷指示を行うと、第２の信号処理部１０９では、画像データをプリンタエンジン部２００が解釈できるデータフォーマットに変換し、フレームメモリ１０７に格納する。その後、プリンタエンジン部２００は、フレームメモリ１０７２か苦悩されたデータに基づいて画像を用紙に印刷する。尚、プリンタエンジン部２００にエラーが発生した場合、第２の表示部１０８を使い、ＬＥＤを点滅させる等して、ユーザに注意を促す。

図２は、図１における第２の信号処理部１０９が有する表情検出機能を使って、ふきだしや文字列の選択画面で最初に表示されるふきだし及び文字列を自動選択した場合の画面の例を示す図である。

（ａ）の画面２００１は、笑顔を検出したときで、笑顔が検出された場合、ふきだしや文字列の選択画面に移行したときに入力文字列は感謝の意を示す「ありがとう」が最初に選択された状態で表示されている。

（ｂ）の画面２００２は、困った顔を検出したときで、入力文字列は謝罪を表わす「すみません」が選択された状態で表示される。

図３は、図１の画像処理装置１の入力部１０５からふきだしや文字列の選択画面においてふきだし及び文字列をマニュアル選択した場合の画面の例を示す図である。図２のようにふきだしや文字列の選択画面では最初に表情に応じた選択肢が表示されるが、その後ユーザの操作により他の選択肢を選択可能である。

ユーザは画像データのプレビューを第１の表示部１０６に表示するが、それに続いて、入力部１０５のボタン（ｃ）を操作して、ＧＵＩベースのメニュー操作を行う。

（ａ）の画面３００１は、ふきだしの形状を選択するメニューを表示し楕円を選択したところを示す。

（ｂ）の画面３００２は、文字列を選択するメニューを表示し「ありがとう」を選択しているところである。尚、ふきだしの形状・色と、ふきだしの中に配置される文字列は、共にＲＯＭ１１５に格納されている。

図４は、図１における第２の信号処理部１０９が有する表情検出処理機能を用いて、ふきだし選択画面において最初に表示されるふきだしの形状を自動的に決定した場合の画面の例を示す図である。

図４において、画面４００１は、素顔の場合であり、この場合矩形の空間に三角形を組み合わせたふきだしがふきだし選択画面において最初に表示される。画面４００２は、笑顔を検出した場合であり、楕円形に三角形を組み合わせたふきだしが最初に表示される。

画面４００３は、怒り顔を検出した場合であり、怒りを表す爆発の形が最初に表示される。画面４００４は、困った顔を検出した場合であり、もやもや感を示す雲形の空間と連続する小さな楕円の組み合わせのふきだしが最初に表示される。

図５は、ふきだし選択画面の一例であり、図１における第２の信号処理部１０９が有する表情検出処理機能を用いて、ふきだし選択画面に入ったときに最初に表示するふきだしの色が自動的に選択される。

図５において、画面５００１は、表情の検出結果が素顔の場合であり、ふきだしの色は最初白が選択された状態である。画面５００２は、笑顔を検出した場合であり、ふきだしの色として、最初は薄い色が選択された状態である。

画面５００３は、怒り顔を検出した場合であり、ふきだしツの色として暖色系の濃い色が選択されている。画面５００４は、困った顔を検出した場合であり、ふきだしの色として寒色系の色が選択されている。

図６は、図１における第２の信号処理部１０９による表情検出処理の結果に応じて選択される、入力文字列の画面の例を示す図である。

図６において、画面６００１は、表情検出の結果が素顔の場合であり、文字列選択画面において「おつかれさま」が最初のデフォルト値として選択・表示されている。画面６００２は、笑顔の場合であり、感謝の言葉「ありがとう」が最初に表示/選択されている。

画面６００３は、怒り顔の場合であり、怒りの言葉「こら！」が選択された状態で表示されている。画面６００４は、困り顔の場合であり、困惑の言葉「すみません」が選択され表示されている。

図７は、文字列選択画面の一例で、文字列選択画面で最初のデフォルト値として選択される文字書体を表情検出処理の結果に応じて決定する。

図７において、画面７００１は、表情検出の結果が素顔の場合であり、文字列選択画面では明朝体が初期設定値となる。画面７００２は、笑顔の場合であり、自然と笑顔が出てくるポップ体を選択している。

画面７００３は、怒り顔の場合であり、角の立つ角ゴシック体を選択している。画面７００４は、困った顔の場合であり、頭を傾けるイタリック体を使うことにより、困惑や悲しみを表現している。

このように、本実施の形態では、文字列選択画面・ふきだし選択画面において、文字列やふきだしが合成される画像に含まれる顔の表情を検出し、文字列・ふきだし選択画面で最初に表示される選択紙が表情検出の結果に応じて決定される。あるいは、文字列・吹きだし選択画において最初に選択されている選択肢が表情検出の結果に応じて決定される。

つまり、表情検出の結果に応じて、文字列選択画面・ふきだし選択画面において最初に表示または選択されている選択紙が変わることになる。

上述の実施の形態では、ふきだしの形状、ふきだしの色、文字列、文字列の書式を例に説明したが、他の選択項目に適応しても良い。また、表情検出の結果決定されるのはデフォルトとして最初に表示または選択されている選択肢であるため、ユーザは選択画面で選択肢を変更可能である。

表情検出の結果に応じて最初に表示・選択されている選択肢が自動的に決定されるため、簡単にふきだしや文字列の設定ができ、かつ、表情検出で語検出された場合や他の選択肢を選択したい場合に後に変更することも可能であるためユーザビリティーが向上する。

図８は本実施の形態のふきだし合成印刷の処理のフローである。これらの処理は、ＣＰＵ１１３がＲＯＭ１１５からプログラムを読み出し、読み出したプログラムに基づいて画像処理装置１の各部を制御することにより実行される。

ユーザによりふきだし印刷処理が選択されるとこれらの処理が実行される。まず、表示部１０６に画像選択画面を表示（表示制御）させる。ユーザは、画像選択画面に表示されるメモリスロット３に装着されたメモリカードまたは記憶媒体１１１に格納されている画像データの中から、入力部１０５を操作して印刷対象の画像を選択する（Ｓ８０１）。

画像が選択されると、選択された画像の顔検出及び検出された画像についての表情検出を行う（Ｓ８０２）。顔検出・表情検出の検出結果の情報が画像データの付加情報として記録されている場合は、画像処理装置で必ず顔検出・表情検出を行わなくても、付加情報を解析することにより顔検出・表情検出の結果を取得しても良い。

Ｓ８０３では、Ｓ８０２で取得した表情検出の結果に応じて、画像処理装置に記憶されている合成可能な文字列データのうち、Ｓ８０６、Ｓ８０７で選択可能なふきだしに合成させる文字列の候補を候補文字列として決定する。

つまり、検出した表情に応じて、選択可能な文字列が変わる。例えば、笑顔が検出された場合は、「ありがとう」「やったー！！」「ＨＡＰＰＹ」「ラッキー」が選択可能になり、泣き顔が検出された場合は、「ざんねん」「悲しい」「えーん」「こわい」が選択可能となる。

文字、顔が検出されなかったり、表情の検出が不可能であったりした場合は、画像処理装置に記憶されている全ての文字列が候補文字列として設定される。また、１つの画像に複数の顔があり、複数種類の表情が含まれる場合は、全ての表情に対応する文字列を候補文字列とるとよい。

次に、Ｓ８０４では、ふきだし選択画面において初期設定として表示させるふきだしの形状・色、文字列の書体と文字列を決定する。文字列はＳ８０３で決定された候補文字列の中の１つが初期設定として決定される。ふきだしの形状・色、文字列の書体の初期設定としては、前で説明したように決定される。

そして、Ｓ８０４で決定された初期設定に応じたふきだしの形状・色、文字列の書体、文字列でふきだし及び文字列を生成し、印刷対象の画像に合成して、ふきだし・文字列選択画面に表示される。

ふきだし・文字列選択画面ではふきだしの形状・色・文字列の書体・文字列が変更可能であり、文字列については、Ｓ８０３で決定した候補文字列の中から選択可能である。文字列の切換え操作が行われた場合は（Ｓ８０６でＹＥＳ）、他の（次の）候補文字列に換えてその文字列を合成して、ふきだし・文字列選択画面に表示する（Ｓ８０７）。

文字列選択の操作ではなく、ふきだしの形状または色の変更のための操作である場合は（Ｓ８０８でＹＥＳ）、操作に応じてふきだしの形状または色を変更して、ふきだし・文字列選択画面に表示する（Ｓ８０９）。

文字列の書体もふきだしの形状・色と同様に変更する。ふきだし・文字列の選択が完了し、ユーザが決定の操作を行うと（Ｓ８１０でＹＥＳ）、印刷処理が開始される。印刷処理では、Ｓ８０１で選択された印刷対象の画像にふきだし・文字列選択画面で選択されたふきだし及び文字列を合成して、プリントデータを作成し、プリンタエンジン部２００に送る。そして、プリンタエンジン部２００はプリントデータに従って画像を印刷する。

このようにして、ふきだし及び文字列が合成された画像を印刷することができる。

このように、本実施形態の画像処理装置は、ふきだしや文字列のデータを記憶しており、ふきだしや文字列を画像に合成させて印刷することが可能である。そして、ふきだしや文字列のデータを記憶しており、ふきだしや文字列を画像に合成させて印刷することが可能である。

そして、画像に合成するふきだし・文字列を選択する際に、印刷対象の画像に含まれる顔の表情の情報を取得し、取得した表情の情報に応じて、ユーザが選択可能な文字列の選択肢が自動的に絞り込まれる。

そのため、表情にあった文字列を簡単に選択することができる。とくに、選択紙（文字列の種類）が多い場合は、多くの選択肢の中から選択するのは大変な作業となってしまうため、本発明を実施したときの効果は大きくなる。

本実施の形態では、表情の検出結果に応じた候補文字列のみを選択可能としたが、文字列選択画面において候補文字列が優先的に切換えられるようにしてもよい。この場合文字列変更の操作を行っていくと最初に候補文字列が順次表示され、その後、他の候補文字列が表示されるようになる。

また、文字列だけでなく、ふきだしの形状・色も表情に応じて画像処理装置側で選択肢を自動的に絞り込むようにしてもよい。

また、候補文字列以外の文字列を選択したい場合も考えられるので、特定の操作を行うことで、ふきだし・文字列選択画面において文字列やふきだしの形状や色の絞りこみの解除を可能としても良い。

また、予め文字列を表情ごとのカテゴリに分けたメニューを用意しておき、自動的に候補文字列が選択された後にもそのメニューに移行可能とすることにより、他の表情に対応した文字列を選択可能な構成としておいても良い。

以上、本発明をその好適な実施の形態に基づいて詳述してきたが、本発明はこれら特定の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上述の実施の形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等が考えられる。また、光／光磁気記憶媒体、不揮発性の半導体メモリでも良い。

本発明の実施の形態に係る画像処理装置のブロック構成図である。 図１における第２の信号処理部１０９が有する表情検出機能を使ってふきだし及び文字列を自動選択した場合の画面の例を示す図である。 図１の画像処理装置１の入力部１０５からふきだし及び文字列をマニュアル選択した場合の画面の例を示す図である。 図１における第２の信号処理部１０９が有する表情検出処理情報を用いて、ふきだしの形状を自動的に選択した場合の画面の例を示す図である。 図１における第２の信号処理部１０９が有する表情検出処理情報を用いて、ふきだしの色を自動的に選択した場合の画面の例を示す図である。 図１における第２の信号処理部１０９による表情検出処理の結果に応じて選択される、入力文字列の画面の例を示す図である。 図１における第２の信号処理部１０９による表情検出処理の結果に応じて選択される文字書体の画面の例を示す図である。 画像処理装置のふきだし印刷の処理のフローである。

符号の説明

１ 画像処理装置
２ ＰＣ
３ メモリスロット
４ 撮像装置
１０１ インターフェース
１０３ 第１の信号処理部
１０４ 制御部
１０５ 入力部
１０６ 第１の表示部
１０７ フレームメモリ
１０９ 第２の信号処理部
１１３ ＣＰＵ
１１４ ＲＡＭ
１１５ ＲＯＭ
２００ プリンタエンジン部

Claims (5)

1. 画像データに含まれる顔の表情を解析する解析手段と、
   前記画像データにふきだしを合成して表示手段に表示するための表示制御手段と、
   前記ふきだしに表示する文字列を切換えることにより、前記ふきだしに表示する文字列を複数の文字列の中から選択する選択手段と、
   前記選択手段により文字列を選択するときに前記ふきだしに最初に表示する文字列を前記解析手段により解析された表情に応じて決定する決定手段とを有することを特徴とする画像処理装置。
2. 前記選択手段は、前記解析手段により解析された表情に対応する文字列を選択可能とすることを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データに合成するふきだしの色または形を選択する前記解析手段により解析された表情に応じた形または色のふきだしをすることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像データに前記ふきだし及び前記選択手段により選択された文字列を合成して印刷する印刷手段を有することを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 画像データに含まれる顔の表情を解析する解析工程と、
   前記画像データにふきだしを重ねて表示手段に表示するための表示制御工程と、
   複数の文字列の中から文字列を選択するための操作に応じて、前記ふきだしに表示する文字列を切換える文字列選択工程と、
   前記文字列選択工程において前記ふきだしに最初に表示する文字列を、前記解析手段により解析された表情に応じて決定する決定工程とを有することを特徴とする表示制御方法。

Images