JP2011192008A - 画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】視認性、娯楽性の高い絵文字を自動で作成することができる画像処理システムおよび画像処理方法を提供する。
【解決手段】画像処理システム１は、クライアント端末１０と画像加工サーバ１００とから構成され、画像加工サーバ１００はクライアント端末１０から送信された画像データの加工処理を行う。画像加工サーバ１００は、記憶部１０２、画像認識部１０３、画像加工部などを備える。画像認識部１０３は、顔検出部１０３Ａ、表情検出部１０３Ｂ、文字検出部１０３Ｃ、および規則性部分検出部１０３Ｄとを備える。画像認識部１０３は、画像データから顔情報、表情種別情報、文字部分の情報、規則性部分情報などの各種情報を検出して画像特徴量として画像加工部１０４に出力する。画像加工部１０４は、画像特徴量に基づいて画像中の特徴部分の拡大、文字部分の拡大、アイコンの合成、色補正、規則性部分の意味的縮小など各種の画像加工処理を行う。
【選択図】図１

Description

この発明は、例えば、携帯電話機などの携帯端末によって送受信されるメールの文章中に用いられる絵文字の自動生成を行う画像処理システムおよび画像処理方法に関する。

近年、携帯電話機などの携帯端末に備え付けられた電子メール機能によるメールコミュニケーションがユーザの間で広く普及してきている。そのメールコミュニケーションで送受信されるメールにおいては、通常の文字の他に、いわゆる顔文字や絵文字と称される通常文字とは異なる文字が感情表現手段の一つとして使用されることが一般化している。

顔文字とは、複数の文字や記号を組み合わせて人物の様々な表情を表したものであり、絵文字とは、文字のサイズに合わせて作成されたキャラクターや文字などを表すドット画像である。その顔文字や絵文字は通常、携帯電話機に内蔵されたメモリにあらかじめ登録されており、メール作成においてユーザが自由に文章と組み合わせて使用することができる。そして、昨今、ユーザ間のメールコミュニケーションにおけるユーザの感情表現にさらなる広がりを持たせるために、あらかじめ携帯電話機に用意されている絵文字の他にユーザが独自の絵文字を作成することができる技術が提案されている。（特許文献１）

特開２００８−２５２６８０号公報

現在提供されている携帯電話機の絵文字用の画像加工サービスの多くは、ユーザが絵文字として使用することを希望する画像を携帯電話機で表示可能な絵文字のサイズに縮小するだけのものが主である。しかし、画像を単純に絵文字サイズに縮小するだけでは、画像中の被写体の輪郭が不明瞭になるなどして見栄えがよくない画像が生成される場合がある。また、単純に縮小した結果、画像中の細かい部分が潰れてしまい、画像の全部又は一部が視認できず、どのような絵文字なのかがわからなくなってしまう場合もある。さらに、単に画像のサイズを絵文字サイズに縮小するだけでは、メールコミュニケーション用の画像としては面白みや娯楽性に欠ける。

上述の特許文献１に記載された技術においては、「絵文字として適切な画像になるように加工する」とあるが、加工されるのは画像中に含まれる文字部分のみである。そのため、たとえ特許文献１に記載の技術で作成された絵文字をメール中の文章に使用しても面白みに欠け、表現も乏しいものとなる。また、画像加工部分を指定するための画像中の文字部分の指定などはユーザが携帯電話機の入力ボタンなどを使用して自ら行わなくてはならない。その作業は煩雑であり時間を要するため、メール作成において新たな絵文字を使用する際にその度にその指定作業を行わなければならないとすると、手軽さが特徴の一つである携帯電話機などの携帯端末におけるメールの利点が損なわれることとなる。

したがって、この発明の目的は、文字だけではなく、人物の顔なども加工し、さらにアイコンを画像に合成するなどにより視認性、娯楽性の高い絵文字を自動で作成することができる画像処理システムおよび画像処理方法を提供することにある。

上述した課題を解決するためにこの発明は、画像データを加工する画像加工サーバと、該画像加工サーバと通信可能に構成されたクライアント端末とから構成される画像処理システムにおいて、クライアント端末は、画像データを記憶するオリジナル画像データ記憶手段と、該オジリナル画像データ記憶手段に記憶された画像データを画像加工サーバに送信する送信手段とを備え、画像加工サーバは、画像データの画像特徴量を抽出する画像認識手段と、画像特徴量に基づいて画像データの加工を行う画像加工手段と、画像データの縮小処理を行う画像縮小手段と、画像加工手段および画像縮小手段により処理が施された画像データを格納する加工後画像記憶手段と、該加工後画像記憶手段における画像データの記録場所を示すリンク情報を生成するリンク情報生成手段と、該リンク情報生成手段により生成されたリンク情報をクライアント端末に送信する通信手段とを備える画像処理システムである。

この発明によれば、入力画像に基づいて自動的に携帯端末用の絵文字画像が作成されるので、ユーザは自ら画像の加工処理などを行わなくても、視認性、娯楽性の高い絵文字画像を容易に作成することができる。これにより、既存の顔文字、絵文字にはないユーザごとに異なる様々な絵文字を作成するとこができるため、絵文字のバリエーションが増え、メールにおける表現をより豊かなものにすることができる。

この発明の実施の形態に係る画像処理システムの構成を示すブロック図である。 画像加工サーバへの画像データのアップロードを行う画面の例を示す図である。 画像加工処理の流れを示すフローチャートである。 画像加工処理の詳細を示すシーケンス図である。 図５Ａは各画像加工処理が縮小前画像加工リストまたは縮小後画像加工リストのどちらかに分類するためのテーブルを示す図であり、図５Ｂは画像加工処理の分類処理を示す図である。 特徴部分の拡大処理の流れを示すフローチャートである。 特徴部分の拡大処理が施された画像の状態を示す図である。 文字部分の拡大処理の流れを示すフローチャートである。 文字部分の拡大処理が施された画像の状態を示す図である。 アイコンの合成処理の流れを示すフローチャートである。 アイコンの合成処理に用いられる合成用アイコンデータベースの一例を示す図である。 アイコンの合成処理が施された画像の状態を示す図である。 アイコンの合成処理が施された画像の状態を示す図である。 アイコンの合成処理が施された画像の状態を示す図である。 図１５Ａは色補正処理の流れを示すフローチャートであり、図１５Ｂは色補正に用いられる色補正テーブルを示す図であり、図１５Ｃは色補正処理が施された画像の状態を示す図である。 規則性部分の意味的縮小処理の流れを示すフローチャートである。 規則性部分の意味的縮小処理が施された画像の状態を示す図である。 特徴部分の拡大、文字部分の拡大、アイコンの合成処理が施された画像の状態を示す図である。

１.［画像処理システムの構成］
１−１．クライアント端末の構成
本実施の形態では、画像加工処理はＷＥＢサービスとしてユーザに提供され、ユーザがクライアント端末１０を用いて画像データを画像加工サーバ１００にアップロードすることにより、画像の加工がなされる場合を想定して説明を行う。図１は、この発明の実施形態に係る画像処理システム１の全体構成を示す図である。画像処理システム１は複数のクライアント端末１０、１０と画像処理を行う画像加工サーバ１００とから構成されている。図１においては、クライアント端末１０として２つのクライアント、クライアント端末Ａおよびクライアント端末Ｂが存在する。しかし、クライアント端末１０の数は２つに限られるものではなく、より多くのクライアント端末を含めて画像処理システム１を構成してもよい。画像加工サーバ１００、クライアント端末Ａおよびクライアント端末Ｂはインターネットを介して接続可能に構成されている。また、クライアント端末ＡおよびＢはインターネットを介してアプリケーションサーバと接続され、そのアプリケーションサーバがＬＡＮを介して画像処理システムに接続されている、という構成にしてもよい。

クライアント端末１０は、携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、携帯ゲーム機などのインターネットを介して画像加工サーバ１００、他のクライアントなどと通信可能な端末により構成されている。通信部１１は、所定のプロトコル、例えば、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に基づいて画像加工サーバ１００や他のクライアント端末１０との各種データの送受信を行うものである。この発明では通信部１１を介してクライアント端末１０から画像加工サーバ１００にオリジナル画像データがアップロードされる。

オリジナル画像記憶部１２は、ユーザがクライアント端末１０に備えられた撮像部１４により撮像した写真やインターネットで取得した画像などの画像データをオリジナル画像データとして格納する記憶媒体である。この発明においては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）、ＧＩＦ（Graphics Interchange Format）、ＴＩＦＦ（Tagged Image File Format）、などの形式の画像データを用いることができる。

入力部１３は、ユーザがクライアント端末１０にオリジナル画像データの画像加工サーバ１００へのアップロードなどの各種の指示を入力する際に用いられる各種ボタン、キーボード、マウスなどの入力デバイスである。撮像部１４は、撮影レンズとＣＣＤ（Charge Coupled Device）などの撮像素子を備えるものであり、例えば、携帯電話機に設けられたカメラなどである。撮像部１４は、入力部１３を介して入力されるユーザの指示に従って被写体を撮像し、撮像した画像に所定の処理を施すことにより画像データに変換して出力する。なお、上述のようにその画像データはオリジナル画像データとしてオジリナル画像記憶部１２に保存される。

表示部１５は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube display）、有機ＥＬ（Electro luminescence）ディスプレイ等の表示デバイスであり、ＷＥＢページ、クライアントである携帯端末のＧＵＩ（Graphical User Interface）におけるウィンドウ、メニュー、アイコンなどを表示し、さらに、オリジナル画像記憶部１２に記憶されている画像などを表示するものである。ブラウザ１６は、ＷＥＢブラウザであり、ＨＴＭＬ（Hyper Text Markup Language）データや画像データをＷｅｂページ画像として表示部１５に表示する処理を行う。また、ブラウザ１６は、画像加工用ＲＩＡ（Rich Internet Applications）アプリケーションプログラムの実行も行う。制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）などにより構成され、クライアント端末１０を構成する各部の制御およびクライアント端末１０全体の制御を行うものである。このようにしてクライアント端末Ａが構成されている、なお、クライアント端末Ｂの構成はクライアント端末Ａの構成と同様であるため、その説明を省略する。

１−２．画像加工サーバの構成
画像加工サーバ１００は、クライアント端末１０から送信された画像データの加工処理を行うものである。通信部１０１は、所定のプロトコル、例えばＴＣＰ／ＩＰに基づいてクライアント端末１０とのデータの送受信を行うものである。この発明においてはクライアント端末１０から送信されたオジリナル画像データは通信部１０１によって受信されて後述する加工前画像記憶部１０２Ａに供給される。

記憶部１０２は、例えばハードディスクなどにより構成される記憶媒体であり、加工前画像記憶部１０２Ａ、加工後画像記憶部１０２Ｂおよび合成用アイコンデータベース１０２Ｃとを含むものである。また、記憶部には後述する画像認識部１０３、画像加工部１０４、制御部１０７が実行するＲＩＡ、インターネットへの接続や画像加工に関する処理を行うのに必要なプログラム、画像加工に用いられる各種テーブルも格納されている。加工前画像記憶部１０２Ａは、加工前の画像データ、すなわちクライアント端末１０の通信部１１からから送信されたオジリナル画像データを加工前の状態で加工前画像データとして保存するものである（以下、クライアント端末１０から送信され、加工前画像記憶部１０２Ａに保存されたオジリナル画像データを加工前画像データと称する。）。

加工後画像記憶部１０２Ｂは、後述する画像加工部１０４により加工処理が施された加工後画像データ、すなわち絵文字データを保存するものである。合成用アイコンデータベース１０２Ｃは画像加工処理の一つであるアイコンの合成処理に用いられる複数種類の合成用アイコンデータを保存するものである。なお、合成用アイコンデータベース１０２Ｃに保存されているアイコンは使用履歴、流行などに基づいて随時更新するとよい。なお、図１には加工前画像記憶部１０２Ａ、加工後画像記憶部１０２Ｂ、合成用アイコンデータベース１０２Ｃはすべて記憶部１０２に含まれているものとして記載されているが、それらの各種記憶部をそれぞれ別々の記憶媒体を用いて構成してもよい。

画像認識部１０３は、顔検出部１０３Ａ、表情検出部１０３Ｂ、文字検出部１０３Ｃ、および規則性部分検出部１０３Ｄとを備えるものである。画像認識部１０３は、加工前画像記憶部１０２Ａから加工前画像データを取得し、その加工前画像データから顔検出部１０３Ａ、表情検出部１０３Ｂ、文字検出部１０３Ｃ、規則性部分検出部１０３Ｄによって顔情報、表情種別情報、文字部分の情報、規則性部分情報などの各種情報を検出し、その各種情報を画像特徴量として画像加工部１０４に出力するものである。顔検出部１０３Ａは、加工対象となる加工前画像データに係る画像中の写る人物の顔を検出する。また、その顔の特徴部分である目、鼻、口などの位置、サイズの検出も行い、それら特徴部分の座標情報、サイズ情報を画像特徴量として出力する。なお、顔検出方法としては、例えば、顔の輝度分布情報が記録されているテンプレートと加工前画像データとのマッチングによる顔検出方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、目などの特徴部分の検出については、例えば両目の検出方法は上述の顔検出方法と同様に、目の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる検出方法等を用いることができる。

表情検出部１０３Ｂは、顔検出部１０３Ａにより画像中から顔が検出された場合に、その顔の表情を検出するものである。表情検出は、例えば、目、鼻、口、眉毛又は顎の輪郭周りに特徴点を検出し、その特徴点の配置状態、位置関係により表情の種別およびその表情の度合いを検出することにより行うことが可能である。そして、表情検出部１０３Ｂは検出結果を、笑顔、怒り顔などの表情の種類を示す表情種別情報と、その各表情の度合いを示す表情レベル情報とを画像特徴量として出力する。

文字検出部１０３Ｃは、公知の文字検出技術を用いて加工対象となる画像データに係る画像中の文字部分を検出し、その文字部分の座標情報、サイズ情報、フォント情報、色情報などを画像特徴量として出力する。規則性部分検出部１０４Ｄは画像データに係る画像中の規則性を有する部分（例、縞模様など）をエッジ検出などにより検出し、その規則性を有する部分（以下、規則性部分と称する。）の中心座標、サイズ情報などを画像特徴量トして出力する。

画像加工部１０４は、画像中の特徴部分の拡大、文字部分の拡大、アイコンの合成、色補正、規則性部分の意味的縮小など各種の画像加工処理を行うものである。それらの画像加工処理の詳細については後述する。画像縮小部１０５は、画像データを絵文字サイズに縮小する処理を行うものである。縮小処理は、例えば画像データに対して間引き処理を施すことなどにより行われる。

リンク情報生成部１０６は、加工後画像記憶部１０２Ｂに保存された加工後画像データにアクセスするための位置データであるＵＲＬ（Uniform Resource Locator）情報を生成するものである。制御部１０７は、例えば、ＣＰＵ（Central Processing Unit）などにより構成され、記憶部に格納された画像加工アプリケーションを実行し、画像加工サーバ１００を構成する各部の制御および画像加工サーバ１００全体の制御を行うものである。このようにして、クライアント端末１０と画像加工サーバ１００とからなる画像処理システム１が構成されている。なお、画像加工部１０４、画像認識部１０３、リンク情報生成部１０６もＣＰＵによって構成されている。

２.［画像処理システムの動作］
以下、画像加工サーバ１００による画像の加工処理について説明する。まず、画像加工サーバ１００が行う画像加工処理の前に、ユーザによるクライアント端末１０を用いたオジリナル画像データの画像加工サーバ１００へのアップロードが行われる。ユーザが、例えば、クライアント端末１０である携帯電話機に設けられた撮像部１４により写真を撮影すると、その写真は所定の処理を施されて画像データに変換され、オジリナル画像データとしてクライアント端末１０のオリジナル画像記憶部１２に保存される。そして、ユーザがインターネット上の画像加工サービスを提供するサイトにアクセスを試みると画像加工サーバ１００は画像加工サービスを提供するＷＥＢページデータをクライアントに送信する。そして、ブラウザ１６によって所定の処理が施されクライアントの表示部１５にＷＥＢページが表示される。

画像加工サービスが開始されるとまず、クライアント端末１０の表示部１５には図２Ａに示すようにユーザにどの画像の加工を行うかの選択を促す画面が表示される。図２Ａの例では、上から順に、目の拡大、文字部分の拡大、アイコンの合成、色の補正、規則性部分の意味的縮小が列挙されており、それぞれの右側に設けられたチェックボックスにチェックを入れ、決定ボタンをクリックすることにより、ユーザはどの画像加工を行うか選択することが可能となっている。なお、それら各種の画像加工の中から複数を選択して複数の画像加工を行うことも可能である。

次に、図２Ｂに示すように、各画像加工の種類ごとの加工パラメータの入力をユーザに促す画面が表示される。図２Ｂに示す例は、画像加工として「目の拡大」が選択された場合であり、どの程度拡大を行うかを拡大率で入力することが可能になっている。ただし、図２Ａ、図２Ｂに示す画面構成は一例に過ぎず、画像加工の種類は図２Ａに列挙したものに限られず、またどの程度拡大を行うかも拡大率による指定だけではなく、ピクセルの値を入力するようにしてもよい。

そして、次に、図２Ｃに示すような、ユーザにオジリナル画像データのアップロードを促す画面が表示される。ユーザが入力部１３を用いて参照ボタンをクリックすることによりオリジナル画像データが存在するオリジナル画像記憶部１２内のアドレスを指定するための別ページ（図示せず。）が開かれる。ウィンドウにはその指定されたオリジナル画像記憶部１２内のアドレスが表示される。そして、アドレスの指定後にアップロードボタンをクリックすることによりクライアント端末１０から画像加工サーバ１００へのオリジナル画像データのアップロードが行われる。なお、図２Ａに示した画像加工の選択画面においてユーザに選択された画像加工の種類、図２Ｂに示した画面で入力されたパラメータは、オリジナル画像データと関連付けられて画像加工パラメータとして画像加工サーバ１００にアップロードされる。アップロード中は図２Ｄに示すようにオリジナル画像データがアップロード中であることをユーザに通知するメッセージを表示するとよい。

そして、オリジナル画像データのアップロードが正常に完了すると、図２Ｅに示すようにアップロードが完了した旨のメッセージが表示される。そして、「別の画像をアップロード」がクリックされると画面は再び図２Ａに示す状態に戻りオリジナル画像データの更なるアップロードが可能となる。「画像加工開始」ボタンがクリックされるとアップロードしたオリジナル画像データの加工処理が開始される。なお、図２Ａおよび図２Ｂに示したようなユーザによる画像加工パラメータの指定を省略することを可能としてもよい。その場合、画像の加工は画像加工サーバにあらかじめテンプレートとして保存されている各値に基づいて行われるようにするとよい。図２Ａ乃至図２Ｅに示す画面は一例に過ぎず、画面構成はこのようなものに限られるものではない。

図３は、画像加工処理の流れを示すフローチャートである。画像の加工処理が開始されると、まずステップＳ１でユーザがアップロードしたオジリナル画像データが通信部１０１から加工前画像記憶部１０２Ａに供給されて加工前画像データとして保存される。また、画像加工パラメータも加工前画像データと関連づけて加工前画像記憶部１０２Ａに保存される。次にステップＳ２で、制御部１０７による制御に従い、画像加工部１０４に加工対象となる加工前画像データのデータ名と画像加工パラメータが送信される。

次に、ステップＳ３で画像加工部１０４により画像認識部１０３に対して加工対象となる加工前画像データの画像データ名が送信される。そして、ステップＳ４で画像認識部１０３が画像データ名に基づいて加工前画像記憶部１０２Ａを参照することにより加工対象となる加工前画像データを取得する。次にステップＳ５で、画像認識部１０３により画像特徴量が取得される。画像特徴量は、例えば、被写体の目の部分については、ピクセル座標で「左目中心（ｘ、ｙ）＝（１５６ｐｘ、５０ｐｘ）、右目中心（ｘ、ｙ）＝（５６ｐｘ、５０ｐｘ）」のように取得される。また、サイズも同様に「左目サイズ（横、縦）＝（２０ｐｘ、２０ｐｘ）、右目サイズ（横、縦）＝（２０ｐｘ、２０ｐｘ）」のように取得される。

次にステップＳ６で、画像認識部１０３により取得された画像特徴量が画像加工部１０４に送信される。次にステップＳ７で、画像加工部１０４により画像加工パラメータの解析が行われる。この発明においては、画像加工を画像データの縮小処理の前に行う加工と、縮小処理の後に行う加工との２つに分類する（以下、画像縮小前に行う処理のリストを縮小前画像加工リストと称し、画像縮小後に行う処理のリストを縮小後画像加工リストと称する。）。各種の画像加工が縮小後画像加工リストまたは縮小前画像加工リストのどちらに属するかはあらかじめ定められており、図５Ａに示すようなテーブルとして記憶部１０２に格納されている。そして、そのテーブルは画像加工パラメータの解析を行う際に画像加工部１０４に読み出されて使用される。よって、画像加工パラメータの解析とは、図５Ｂに示すように、画像加工パラメータからユーザが希望する画像加工の種類が縮小前画像加工リストに属するものなのか、縮小前画像加工リストに属するものなのかを判別する処理である。ただし、図５Ａに示す縮小前画像加工リストと縮小後画像加工リストの分類は一例に過ぎず、一部の加工処理を除いて、縮小後画像加工リストに分類される画像加工を縮小前に行うことは可能であり、また縮小前画像加工リストに分類される画像加工を縮小後に行うことも可能である。

次にステップＳ８で、縮小前画像加工リストに含まれる処理が存在するか否かが判定される。行う処理が存在すると判定された場合、ステップＳ９に進む（ステップＳ８のＹｅｓ）。そして、ステップＳ９で縮小前画像加工リストに分類された画像加工処理が行われる。画像の加工処理の詳細については後述する。ステップＳ９による画像の加工処理が終了すると再びステップＳ８に戻って縮小前画像加工リストに処理があるか否かが判定される。そして、まだ行われていない縮小前画像処理が存在する場合にはステップＳ９において再び画像加工処理が行われる。このステップＳ８およびステップＳ９を繰り返すことにより、縮小前画像加工リストに含まれるすべての画像加工処理が行われる。

そして、ステップＳ８で縮小前画像加工リストに処理がないと判定された場合、処理はステップＳ１０に進む。なお、ステップＳ８からステップＳ１０に進む場合には、縮小前画像加工リストに含まれるすべての処理がなされた場合と、ユーザが縮小前画像加工リストに含まれる処理を選択していない場合の二通りがあり得る。次にステップＳ１０で画像縮小部１０５により、縮小前画像加工が施された画像データを絵文字サイズに縮小する処理が施される。次にステップＳ１１で、縮小後画像加工リストに画像加工処理が存在するか否かが判定される。行う処理があると判定された場合、ステップＳ１２に進む（ステップＳ１１のＹｅｓ）。そして、ステップＳ１２で縮小後画像加工リストに分類された画像加工処理が行われる。画像の加工処理の詳細については後述する。ステップＳ１２による画像の加工処理が終了すると再びステップＳ１１に戻って縮小後画像加工リストに処理があるか否かが判定される。そして、別の縮小後画像処理が存在する場合にはステップＳ１２で再び画像処理が行われる。このステップＳ１１およびステップＳ１２を繰り返すことにより、縮小後画像加工リストに含まれるすべての画像加工処理が行われる。

そして、ステップＳ１１で縮小後画像加工リストに処理がないと判定された場合、処理はステップＳ１３に進む。なお、ステップＳ１１からステップＳ１３に進む場合には、縮小後画像加工リストに含まれるすべての処理がなされた場合と、ユーザが縮小後画像加工リストに含まれる処理を選択していない場合の二通りがあり得る。次にステップＳ１３で、縮小後加工処理が施されて絵文字データとなった加工後画像データが加工後画像記憶部１０２Ｂに保存される。保存する際には、加工前画像記憶部１０２Ａに保存されている加工前画像データと関連付けて保存するようにしてもよい。

次に、ステップＳ１４でリンク情報生成部１０６により、加工処理が施された加工後画像データのデータ名に基づいて、加工後画像記憶部１０２Ｂに保存されている加工後画像データにアクセスするための位置データであるＵＲＬが生成される。具体的には、例えば、リンク情報生成部１０６は、画像加工サーバ１００のサーバ名、ディレクトリ名、加工後画像データのデータ名などにより、画像加工サーバのサーバ名、ディレクトリ名、およびデータ名からなるＵＲＬを生成する。そして、ステップＳ１５で、画像加工サーバ１００の通信部１０１およびクライアント端末１０の送信部１１を介してクライアント端末１０に画像加工完了および画像にアクセスするためのＵＲＬが通知される。そして、クライアント端末１０を用いて通知されたＵＲＬにアクセスすることによりユーザは加工処理が施されて絵文字となった加工後画像データを取得することができる。

３.［画像加工の内容］
以下、上述のステップＳ９またはステップＳ１２で行われる画像加工処理の詳細について説明する。この発明における画像加工の種類は、画像中の特徴部分の拡大、画像中の文字部分の拡大、画像に対するアイコンの合成、画像の色の補正、画像中の規則性部分の意味的縮小である。

３−１．特徴部分の拡大
まず、この発明において特徴部分とは、被写体が人物である場合における、その人物の目、鼻、口などの顔の構成要素である。これらは人物の顔において見る者に強い印象を与える特徴的な部分であるため、それらを拡大することにより、ディフォルメされた娯楽性の高い画像を作成することが可能となると考えられる。なお、特徴部分の拡大処理は縮小前画像加工リストに分類される。

図６は、特徴部分の拡大処理の流れを示すフローチャートである。図７は、特徴部分の拡大処理が行われる画像の状態を示すものである。ここでは、被写体である人物の両目を拡大する場合を例にして説明を行う。図７Ａは加工前画像データに係る加工前画像を示すものである。まず、ステップＳ１００で図７Ｂに示すように、画像認識部１０３の顔検出部１０３Ａによって加工前画像中における被写体の右目および左目のそれぞれの中心座標およびサイズを取得される。ここで、両目の中心座標は例えば、ピクセル座標で「左目中心（ｘ、ｙ）＝（１５６ｐｘ、５０ｐｘ）、右目中心（ｘ、ｙ）＝（５６ｐｘ、５０ｐｘ）」のように取得される。サイズも同様に「左目サイズ（横、縦）＝（２０ｐｘ、２０ｐｘ）、右目サイズ（横、縦）＝（２０ｐｘ、２０ｐｘ）」のように取得される。

次にステップＳ１０１で図７Ｃに示すように、その左目部分および右目部分の中心座標およびサイズに基づいて、加工前画像から左目部分および右目部分がそれぞれ切り取られる。次にステップＳ１０２で、図７Ｄに示すように、その切り取られた左目部分および右目部分の画像に拡大処理が施される。ここで、左目部分および右目部分をどの程度拡大するかの度合いはあらかじめ画像加工部１０４にテンプレートとして保持されている値、画像加工パラメータで指定された値に基づく。その度合は、比率、ピクセルなどで定義されている。

次に、ステップＳ１０３で図７Ｅに示すように、拡大した両目画像の合成位置が調整される。合成位置の調整は拡大された左目部分および右目部分の中心座標と加工前画像中の左目部分および右目部分の中心座標とを一致させることにより行われる。または、拡大両目画像の注目点座標と加工前画像中の両目の注目点座標とを一致させることにより行うことも可能である。ここで、注目点座標とは例えば目については目尻の座標、口については口角の座標などである。ただし、注目点座標はその位置に限られるものではない。

そして、ステップＳ１０４で加工前画像データが複製され、その複製された加工前画像データに係る画像に拡大両目画像が合成される。これにより図７Ｆに示すように画像中の人物の両目を拡大させることができる。このようにして拡大処理が施された画像データは絵文字サイズに縮小処理が施された後、絵文字データ、すなわち加工後画像データとして加工後画像記憶部１０２Ｂに保存される。なお、上述のようにこの発明における加工処理は複製された画像データに対して行われるため、加工前画像データは加工前の状態で加工前画像記憶部１０２Ａに保存されている。

なお、ここでは、特徴部分の拡大処理について被写体である人物の両目を拡大する場合を例にして説明したが、拡大するのは両目に限られず、鼻、口、耳、眉毛など顔を構成する部分であればどの部分でもよい。また、それらの顔を構成する部分のうち一つのみを拡大するのではなく、複数または全部を拡大するようにしてもよい。それにより、よりディフォルメされた娯楽性の高い絵文字を生成することができる。

３−２．文字部分の拡大
次に画像中に含まれる文字部分の拡大処理について説明する。図８は、文字部分の拡大処理の流れを示すフローチャートである。また、図９は、拡大処理が行われる画像の状態を示すものである。なお、文字部分の拡大処理は縮小後画像加工リストに分類される。

まず、ステップＳ２００で、図９Ａに示すオリジナル画像データに係る画像中から、図９Ｂに示すように文字検出部１０３Ｃによって画像中に含まれる文字部分（図９においては「こんにちは」）が検出され、その文字部分の画像中における中心座標、文字のフォントタイプ、サイズ、太さ、色を示す情報が生成される。なお、それらの情報は、文字部分が複数の文字から構成される場合、それら複数の文字を一つとして認識して検出するようにしてもよいし、各文字ごとに検出するようにしてもよい。ここで、文字部分の中心座標は例えば、ピクセル座標で「中心座標（ｘ、ｙ）＝（１５０ｐｘ、５０ｐｘ）、フォントタイプ＝明朝体、サイズ（横、縦）＝（２０ｐｘ、２０ｐｘ）、太さ＝bold、カラー＝Black」のように取得される。なお、ここで、画像中に含まれる文字とは、例えば看板に書かれている文字など被写体として写っている文字だけでなく、ユーザが画像ソフトウェアなどを用いて画像上に書き込んだ文字などであってもよい。

次にステップＳ２０１で、図９Ｃに示すように、文字部分の中心座標およびサイズに基づいて文字部分が切り取られる。次にステップＳ２０２で、図９Ｄに示すように、その切り取られた文字部分の画像の拡大処理がなされる。ここで、文字部分をどの程度拡大するかの度合いはあらかじめ画像加工部１０４にテンプレートとして保持されている値、画像加工パラメータで指定された値に基づく。その度合は、比率、ピクセルなどで定義されている。次に、ステップＳ２０３で図９Ｅに示すように、拡大された文字部分の合成位置が調整される。合成位置の調整は拡大された文字部分の中心座標と加工前画像中の文字部分の中心座標とを一致させることにより行われる。そして、ステップＳ２０４で加工前画像データが複製され、その複製された加工前画像データに拡大文字画像が合成される。これにより図９Ｆに示すように画像中に含まれる文字部分を拡大することができる。そして、拡大処理が施された画像データは絵文字として加工後画像記憶部１０２Ｂに保存される。なお、上述のように、この発明における加工処理は複製された画像データに対して行われるため、加工前画像データは加工前の状態で加工前画像記憶部１０２Ａに保存される。なお、文字部分の加工は拡大処理のみでなく、フォントの変更、色の変更などを行ってもよい。

３−３．アイコンの合成
次にアイコンの合成処理について説明する。この発明において、アイコンの合成とは、画像中の被写体である人物の表情に基づいて合成用アイコンデータベース１０２Ｃに保存されているアイコンを選択し、加工前画像データにその選択されたアイコンを重ねることにより合成する処理である。なお、アイコンの合成処理は縮小後画像加工リストに分類される。なお、アイコンとは特許請求の範囲における合成用画像に対応するものである。図１０は、アイコンの合成処理の流れを示すフローチャートである。図１１は、合成用アイコンデータベース１０２Ｃに格納されている各種アイコンの一例を示すものである。

まず、ステップＳ３００で、顔検出部１０３Ａにより画像中の人物の顔が検出される。その検出結果に基づき顔情報が生成されて、その顔情報が画像加工部１０４および表情検出部１０３Ｂに出力される。顔情報は例えば、顔部分の中心座標およびサイズ、目、鼻、口などの輪郭周りの特徴点の座標などにより構成される。例えば、顔の中心座標はピクセル座標で「顔中心（ｘ、ｙ）＝（１５６ｐｘ、５０ｐｘ）」のように取得される。また、サイズも同様に「顔サイズ（横、縦）＝（２０ｐｘ、２０ｐｘ）」のように取得される。顔検出は、例えば、顔の輝度分布情報が記録されているテンプレートと加工前画像データとのマッチングによる顔検出方法により行われる。

次にステップＳ３０１で、表情検出部１０３ＢによりステップＳ３００で検出された顔についての表情検出が行われる。表情検出では笑顔、怒り顔、驚いた顔、落ち込んだ顔などの表情種別を示す表情種別情報と各表情のレベル（度合い）を示す表情レベル情報とが表情情報として生成され、画像加工部１０４に出力される。表情検出は、目、鼻、口、眉毛又は顎の輪郭周りに特徴点を検出し、その特徴点の配置状態、位置関係により表情の種別およびその表情の度合いを検出することが可能である。次にステップＳ３０２で画像加工部１０４により、表情情報に基づいて合成用アイコンデータベース１０２Ｃから各種のアイコンが選択されて読み出される。図１１に示すように、合成用アイコンデータベース１０２Ｃには笑顔アイコン、怒りアイコン、汗アイコン、ハートアイコン、星アイコンなどの多数のアイコンが格納されており、それらは表情レベル情報、配置情報、サイズ情報と対応付けられている。したがって、各種アイコンの読み出しは、表情情報および表情レベル情報に基づいて行われ、読み出される際には、同時に対応する配置情報、サイズ情報も読み出される。

例えば、表情種別情報が怒り顔であり、表情レベル情報が８０％を超える場合には怒りアイコンが選択されて読み出される。図１１の怒りアイコンのサイズ欄に示すように表情レベル情報の値の大きさに応じてアイコンのサイズが変わるように構成してもよい。なお、図１１に示す表情レベル情報と比較される閾値、アイコンの配置、サイズは一例に過ぎずこれに限定されるものではない。

次に、ステップＳ３０３で合成用アイコンデータベース１０２Ｃに格納された配置情報、サイズ情報に基づいて画像上におけるアイコンの配置およびサイズが調整される。アイコンの配置は、顔検出部１０３Ａにより検出された顔の輪郭上の座標、顔を構成する目などの部分の座標、配置情報、サイズ情報によって調整される。そして、ステップＳ３０４で加工前画像データの複製を生成し、その複製画像にアイコンが合成される。

図１２は、この発明におけるアイコン合成処理によってアイコンが合成された画像の例である。図１２Ａにおいては、表情種別情報は笑顔であり、表情レベル情報が所定の閾値を超えていたため、顔の右上の笑顔アイコンが合成されている。図１２Ｂにおいては、表情種別情報は怒り顔であり、表情レベル情報が所定の閾値を超えていたため、顔の左目上に怒りアイコンが合成されている。図１２Ｃにおいては、表情種別情報は焦り顔であり、表情レベル情報が所定の閾値を超えていたため、顔の左目上に焦りアイコンが合成されている。このように、画像中の人物の顔に応じて様々なアイコンを画像に合成することにより、娯楽性の高い画像を作成することができる。

アイコンの合成は２つの顔や物体の位置関係に基づいて行うことも可能である。図１１に示すようにハートマークと星マークは２つの顔についての表情レベル情報に対応づけられて合成用アイコンデータベース１０２Ｃに保存されている。なお、ハートマークと星マークも上述の怒りマークなどと同様に配置情報およびサイズ情報と対応付けられている。

図１３は、画像中に２つの顔があり、その２つの顔の間にハートマークが合成された例を示すものである。図１３Ａに示す加工前画像データに係る画像中から図１３Ｂに示すように２つの顔が検出される。その２つの顔の表情種別情報が共に笑顔であり、２つの顔間の距離が所定の閾値以下である場合には図１３Ｃに示すように合成用アイコンデータベース１０２Ｃからハートマークが読み出される。なお、２つの顔間の距離は、例えば２つの顔のそれぞれの中心座標の差分を算出することにより求めることができる。そして、図１３Ｄに示すように２つの顔の間にハートマークが合成される。

図１４は画像中に２つの顔が接しており、その２つの顔のその接点付近に星マークが合成された例を示すものである。図１４Ａに示す加工前画像データに係る画像中から図１４Ｂに示すように２つの顔が検出される。その２つの顔が接している場合には図１４Ｃに示すように合成用アイコンデータベース１０２Ｃから星マークが読み出される。なお、２つの顔が接しているか否かは、２つの顔の検出範囲が接しているかにより判定することができ、または、２つの顔の中心座標およびサイズからも判定することができる。そして、図１４Ｄに示すように星マークの配置情報に従って２つの顔の接点付近に星マークが合成される。

なお、図１２に示した配置情報およびサイズ情報は一例に過ぎない。例えば、ハートマークにおいては、２つの顔の表情レベル情報の値が大きい場合や２つの顔の距離が近い場合にはその度合いにあわせてサイズを大きくしたり、複数合成するようにしてもよい。

３−４．色の補正
次に、画像の色の補正処理について説明する。ここで、色の補正とは画像中の人物の顔などの特徴部分の色を強調する、表情種別情報に応じて特徴部分の色を変更する、コントラストや明度を調整する処理である。色補正処理では、図１５Ｂに示すような表情種別情報と色とが対応付けられた色補正テーブルを用いられる。この色補正テーブルに示すように、焦り顔の場合は色は青に補正され、怒り顔の場合は赤に補正される。

図１５Ａは色補正の処理の流れを示すフローチャートである。まずステップＳ４００で、顔検出部１０３Ａにより顔部分の輪郭情報が取得される。次にステップＳ４０１で顔の表情検出が行われ、表情種別情報が画像加工部１０４に送信される。次にステップＳ４０２で、表情種別情報に基づいて画像加工部１０４により色補正テーブルが参照されて色が決定される。そして、ステップＳ４０３で、顔の輪郭内部が決定された色に補正される。図１５Ｃは、画像中の被写体である人物の顔は怒り顔であるため、顔の輪郭内側が赤色に補正処理された状態を示すものである。

なお、色補正処理は、上述のように表情種別情報に基づいて行われるのみでなく、表情レベル情報に基づいて行われるようにしてもよい。具体的には、例えば、表情レベル情報に対する複数の閾値を設定し、表情レベル情報がいずれの閾値以上であるかによって色の濃淡を調整するようにしてもよい。さらに、画像中から２つの顔が検出され、その２つの顔の距離が所定の閾値以下である場合にはその２つの顔をピンクに補正するなど、表情種別情報だけでなく、距離に基づいて色の補正処理を行ってもよい。

３−５．規則性部分の意味的縮小
次に、規則性部分の意味的縮小処理について説明する。この発明は、画像データを絵文字として用いることができるように絵文字のサイズまで縮小する処理を行うものである。しかし、例えば被写体である物体表面に付された縞模様などの画像中の規則性を有する部分は、そのまま縮小されると縞模様が潰れてしまい絵文字の状態では規則性を視認することができなくなってしまう場合がある。そこで、画像中の規則性部分については画像データ自体の縮小率とは異なる縮小率で縮小するかまたは、縮小を行わないようにするのが規則性部分の意味的縮小処理である。なお、規則性部分は縞模様に限られず、網目模様、複数のキャラクターやアイコンが一定の規則に従って配置されている部分なども含むものである。

図１６は規則性部分の意味的縮小処理の流れを示すフローチャートである。図１７は規則性部分の意味的縮小処理が施された画像を示す図である。まず、ステップＳ５００で、画像認識部１０３の規則性部分検出部１０３Ｄにより図１７Ａに示す加工前画像データに係る画像中から図１７Ｂに示すように規則性部分（破線で囲う部分）が検出され、その規則性部分の輪郭情報および規則性部分の中心座標が取得される。規則性部分の検出は、例えばエッジ検出などの方法により行うことができる。次に１６Ｃに示すようにステップＳ５０１で検出された規則性部分を輪郭情報に基づいて切り出す（以下、その切り出された画像を切り出し規則性部分画像と称する。）

次にステップＳ５０２で、図１７Ｄに示すように加工前画像データが絵文字サイズに縮小される。次にステップＳ５０３で切り出し規則性部分画像を画像データの絵文字サイズへの縮小率とは異なる縮小率、詳しくは画像データの絵文字サイズへの縮小よりも縮小の度合いが小さい縮小率で縮小する。または、このステップＳ５０３をスキップして規則性部分画像の縮小処理を行なわない。本実施の形態においては、切り出し規則性部分画像の縮小は行っていない。次にステップＳ５０４で、図１７Ｅに示すように、切り出し規則性部分画像の加工後画像データ上における位置の調整が行われる。この位置の調整は、例えば加工前画像における規則性部分の中心座標と規則性部分画像の中心座標を一致させることにより行われる。そして、ステップＳ５０５で切り出し規則性部分画像が縮小処理が施された加工後画像の規則性部分に合成され、切り出し規則性部分画像の規則性部分と重ならない部分が切り取られる。このようにして、図１７Ｆに示すような画像自体は縮小していながら規則性部分である縞模様は縮小されていない画像が生成される。なお、このステップＳ５０２における縮小処理は図３のフローチャートに示すステップＳ１０の縮小処理に相当するものである。したがって、規則性部分の意味的縮小処理は縮小前画像加工と縮小後画像加工の組み合わせとして行われる。

図１７に示す画像には被写体としてペットボトルが写っており、そのペットボトルの下部分に縞模様の規則性部分が存在する。そこで、上述の規則性部分の意味的縮小処理をこの画像に施すことにより、画像を絵文字サイズに縮小しながら、縞模様の視認できるような状態に維持することが可能となる。これにより、画像をその画像の特徴を損なうことなく絵文字として利用することができる。

４．[変形例]
以上、この発明の一実施の形態について具体的に説明したが、この発明は、上述の実施形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えば、上述の画像加工処理はそれぞれ独立したものとして説明を行ったが、実際に画像加工処理を行う場合は、１つの画像に対して複数の画像加工処理を施してもよい。図１８に示すのは、加工前画像データに対して特徴部分である目の拡大、文字部分の拡大、アイコンの合成を行った例である。このように１つの画像に複数の加工処理を施すことによりさらに表現力に富んだ娯楽性に高い絵文字を作成することができる。

上述の説明では、リンク情報生成部１０６により加工後画像データにアクセスするためのＵＲＬが生成され、クライアント端末１０にそのＵＲＬが通知される場合について説明を行った。しかし、クライアント端末Ａを操作するユーザが、この発明により生成される絵文字を用いたメールをクライアント端末Ｂに送信したい場合は、オリジナル画像データのアップロード時にメールデータも一緒にアップロードし、サーバでメールと加工後画像による絵文字の合成を行い、加工後画像が絵文字として用いられたメールを画像加工サーバ１００からクライアント端末Ｂに送信するようにしてもよい。

１・・・・・画像処理システム
１０・・・・クライアント端末
１２・・・・オリジナル画像記憶部
１００・・・画像加工サーバ
１０２Ｂ・・加工後画像記憶部
１０２Ｃ・・合成用アイコンデータベース
１０３・・・画像認識部
１０３Ａ・・顔検出部
１０３Ｂ・・表情検出部
１０３Ｃ・・文字検出部
１０３Ｄ・・規則性部分検出部
１０４・・・画像加工部
１０５・・・画像縮小部
１０６・・・リンク情報生成部

Claims (8)

1. 画像データを加工する画像加工サーバと、該画像加工サーバと通信可能に構成されたクライアント端末とから構成される画像処理システムにおいて、
   前記クライアント端末は、
   前記画像データを記憶するオリジナル画像データ記憶手段と、
   該オジリナル画像データ記憶手段に記憶された前記画像データを前記画像加工サーバに送信する送信手段と、
   を備え、
   前記画像加工サーバは、
   前記画像データの画像特徴量を抽出する画像認識手段と、
   前記画像特徴量に基づいて前記画像データの加工を行う画像加工手段と、
   前記画像データの縮小処理を行う画像縮小手段と、
   前記画像加工手段および前記画像縮小手段により処理が施された前記画像データを格納する加工後画像記憶手段と、
   該加工後画像記憶手段における前記画像データの記録場所を示すリンク情報を生成するリンク情報生成手段と、
   該リンク情報生成手段により生成された前記リンク情報を前記クライアント端末に送信する通信手段と
   を備える画像処理システム。
2. 前記画像認識手段は、前記画像データに係る画像中の顔を検出する顔検出手段を備え、
   該顔検出手段は、前記画像から顔を検出したときには、前記顔の特徴部分の座標およびサイズ情報を前記画像特徴量として生成し、
   前記画像加工手段は、前記画像特徴量に基づいて前記顔の特徴部分の拡大処理を行う請求項１に記載の画像処理システム。
3. 前記顔の特徴部分は前記顔の目、鼻、口のいずれかまたは自由な組み合わせである請求項２に記載の画像処理システム。
4. 前記画像認識手段は、前記画像データに係る画像中の文字を検出する文字検出手段を備え、
   該文字検出手段は、前記画像から文字を検出したときには、前記文字の座標およびサイズ情報を前記画像特徴量として生成し、
   前記画像加工手段は、前記画像特徴量に基づいて前記文字の拡大処理を行う請求項１に記載の画像処理システム。
5. 前記画像加工サーバは、合成用画像を格納する合成用画像記憶部を備え、
   前記画像認識手段は、前記画像データに係る画像中の顔を検出する顔検出手段と、前記顔の表情の判定を行う表情検出手段とを備え、
   該表情検出手段は、前記顔検出手段が前記画像から顔を検出したときに該顔の表情の検出を行い、検出結果を該顔の表情の種別を示す表情種別情報を前記画像特徴量として生成し、
   前記画像加工手段は、前記画像特徴量に基づいて前記合成用画像記憶部から前記合成用画像を読み出して前記画像データに係る画像に合成する
   請求項１に記載の画像処理システム。
6. 前記顔検出手段は、前記画像データに係る画像中に複数の顔を検出した場合、さらに該複数の顔間の距離を検出し、
   前記画像加工手段は、前記距離が所定の閾値よりも短い場合には前記合成用画像記憶部から前記合成用画像を読み出して前記画像データに係る画像に合成する
   請求項５に記載の画像処理システム。
7. 前記画像認識手段は、前記画像データに係る画像中の規則性部分を検出する規則性部分出手段を備え、
   前記画像加工手段は、前記規則性部分を前記画像データに係る画像中から切り出し、さらに、前記画像縮小手段による縮小処理後に、切り出した該規則性部分を縮小処理がなされた前記画像データに合成する、
   請求項１に記載の画像処理システム。
8. 画像データを加工する画像加工サーバと、該画像加工サーバと通信可能に構成されたクライアント端末とから構成される画像処理システムにより行われる画像処理方法において、
   前記クライアント端末によって
   前記画像データを記憶するオリジナル画像データ記憶処理と、
   該オジリナル画像データ記憶手段に記憶された前記画像データを前記画像加工サーバに送信する送信処理と、
   が行われ、
   前記画像加工サーバにより、
   前記画像データの画像特徴量を抽出する画像認識処理と、
   前記画像特徴量と加工パラメータに基づいて前記画像データの加工を行う画像加工処理と、
   前記画像データの縮小処理を行う画像縮小処理と、
   前記画像加工処理および前記画像縮小処理が施された前記画像データを加工後画像記憶手段に格納する加工後画像記憶処理と、
   前記加工後画像記憶手段における前記画像データの記録場所を示すリンク情報を生成するリンク情報生成処理と、
   該リンク情報生成処理により生成された前記リンク情報を前記クライアント端末に送信する通信処理と
   が行われる画像処理方法。

Images