JP2008225721A - 画像処理装置、画像処理方法、および画像処理システム - Google Patents

Abstract

【課題】ユーザーの個性を反映した画像を、写真画像をもとに簡単に作成して、画像に個性を持たせると共に、プライバシーなどの問題も回避した画像を生成する画像処理装置、画像処理方法および画像処理システムを提供する。
【解決手段】画像を表す画像データを記憶する記録メディア９と、ユーザーが描画した描画線の特徴を表す特徴データを記憶するデータベース９ｃを備え、画像データから画像の輪郭を現すデータエッジ強調により抽出し（Ｓ２１２、Ｓ２１９）、この抽出された輪郭と円弧の一致度を検出し（Ｓ２１４）、一致した円弧に対応する特徴データを読み出し（Ｓ２１６）、これを特徴データに基づいて修正する(Ｓ２１７)。
【選択図】 図８

Description

本発明は、画像処理装置、画像処理方法、および画像処理システムに関し、詳しくは、個人の撮影した画像を、ユーザーの描画特徴に応じて修正することのできる画像処理装置、画像処理方法、および画像処理システムに関する。

近年、ネット環境が進化し、従来のインターネット上のホームーページ（ＨＰ）に比較して手軽なブログ（ＷｅｂＬｏｇ）が人気であり、またこのブログを使いやすくする種々のアイディアが提案されている。このブログでは、ユーザーが日々日記をつける感覚でウエブサーバーに画像やコメントを自由な形式でアップロードすることができる画像日記作成公開システムが提案されており、このための様々なサービスが行われている。

このような画像日記には、デジタル画像が有効利用され、画像だけで、コメントは最小限に抑えた写真集のようなブログも多々ある。しかし、写真を多用すればするほど、人物が撮影されていて、プライバシーの問題が発生する可能性があり、またユーザーの画像との差別化も困難である。

そこで、モザイク処理などが出来る画像処理用のソフトウェアなどが利用されることがある。また、特許文献１に開示されるような、フィルタ画像を合成することにより画像を絵画調にする画像処理ソフトの利用が考えられる。
特開２００２−２９８１３６号公報

しかしながら、上述のモザイク処理の画像処理では、簡単にユーザーの個性を反映したり、遊び感覚で楽しく作業したりすることができなかった。また、特許文献１に開示されるような絵画調の画像処理でも、ユーザーの個性の反映は困難である。

本願発明は、このような事情を鑑みてなされたものであり、ユーザーの個性を反映した画像を、写真画像をもとに簡単に作成して、画像に個性を持たせると共に、プライバシーなどの問題も回避した画像を生成する画像処理装置、画像処理方法および画像処理システムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像処理装置は、画像を表す画像データを記憶する画像データ記憶部と、ユーザーが描画した描画線の特徴を表す特徴データを記憶する特徴データ記憶部と、上記画像データのうち上記画像の輪郭を現すデータを上記特徴データに基づいて修正する画像修正部を備える。

第２の発明に係わる画像処理装置は、上記第１の発明において、上記画像処理装置は、さらに線画を表示する表示部を備え、上記特徴データ記憶部に記憶された上記特徴データは上記表示部に表示された上記線画を上記ユーザーがなぞった上記描画線、又はその近傍位置の圧力変化である。
また、第３の発明に係わる画像処理装置は、上記第２の発明において、上記特徴データ記憶部に記憶された上記ユーザーの線画の特徴を表す特徴データは、所定の形状の線画に対応する上記ユーザーの描画線であり、上記画像修正部は上記画像の輪郭線のうち上記所定の形状に近似した形状の上記輪郭線の部分を、特徴データ記憶部に記憶された上記描画線に置き換える。
さらに、第４の発明に係わる画像処理装置は、上記第３の発明において、上記特徴データ記憶部に記憶された上記ユーザーの線画の特徴を表す特徴データは、円弧の対応する上記ユーザーの描画線である。

さらに、第５の発明に係わる画像処理装置は、上記第１の発明において、さらに上記画像データから顔部を検出する顔部検出部を有し、上記画像修正部は上記顔部検出部によって検出された顔部について上記修正を行なう。
さらに、第６の発明に係わる画像処理装置は、上記第１の発明において、上記画像を取得する撮像部と、ユーザーが描画した描画線の特徴を表す特徴データを検出する特徴データ検出部と、上記画像修正部によって修正された画像を表示する表示部とを具備する。
さらに、第７の発明に係わる画像処理装置は、上記第１の発明において、上記画像と、この画像に添付された上記特徴データを受信し、それぞれ上記画像データ記憶部と特徴データ記憶部に記憶し、上記画像処理装置は、上記画像修正部によって修正された画像を、アクセス請求に応じて表示する表示制御部を具備する。

上記目的を達成するため第８の発明に係わる画像処理システムは、撮影した画像を表す画像データと、ユーザーが描画した描画線の特徴を表す特徴データを上記画像データと関連付けて送信する送信部と、上記画像データと上記特徴データを受信する受信部と、上記画像データのうち上記画像の輪郭を表すデータを上記特徴データに基づいて修正する画像修正部を備える。

上記目的を達成するため第９の発明に係わる画像処理方法は、ユーザーが描画した描画線の特徴を表す特徴データが記憶された特徴データ記憶部から上記特徴データを読み出すステップと、所定の画像を表す画像データのうち上記画像の輪郭を表すデータを、上記ユーザーの線画を表す特徴データに基づいて修正するステップを備える。

上記目的を達成するため第１０の発明に係わるコンピュータプログラムは、ユーザーが描画した描画線の特徴を表す特徴データが記憶された特徴データ記憶部から上記特徴データを読み出すステップと、所定の画像を表す画像データのうち上記画像の輪郭を表すデータを、上記ユーザーの線画を表す特徴データに基づいて修正するステップからなる。

上記目的を達成するため第１１の発明に係わる画像処理装置は、画像を表す画像データを記憶する画像データ記憶部と、描画にあたって複数の基本線に対して、それぞれ特徴データを記憶する特徴データ記憶部と、上記画像データから画像の輪郭線を抽出する輪郭線抽出部と、この輪郭線抽出部によって抽出された上記輪郭線と上記基本線との一致度を検出し、上記輪郭線を上記基本線の集合体に置き換え、この基本線を上記特徴データによって修正する画像修正部を具備する。

第１２の発明に係わる画像処理装置は、上記第１１の発明において、上記基本線は、少なくとも円弧、直線、スパイラルのいずれか一つを含む。
また、第１３の発明に係わる画像処理装置は、上記第１１の発明において、上記基本線は、少なくとも円弧の半径Ｒ、角度θ、太さＴのいずれかを含む。
さらに、第１４の発明に係わる画像処理装置は、上記第１１の発明において、上記画像から顔部を検出する顔部検出部を有し、上記輪郭線抽出部および画像修正部は、検出された顔部について処理する。
さらに、第１５の発明に係わる画像処理装置は、上記第１１の発明において、上記画像修正部によって上記輪郭線に一致する上記基本線を検出できない輪郭線については、修正せずにぼかす。

本発明によれば、画像データの内、この画像の輪郭を現すデータを特徴データに基づいて修正する画像修正部を設けたので、ユーザーの個性を反映した画像を、写真画像をもとに簡単に作成して、画像に個性を持たせると共に、プライバシーなどの問題も回避した画像を生成する画像処理装置、画像処理方法および画像処理システムを提供することができる。

以下、図面に従って本発明を適用した画像処理装置を用いて好ましい実施形態について説明する。本実施形態によれば、予めユーザーの描画特徴を記録しておき、撮像装置によって取得した画像データから画像の輪郭線を抽出し、この抽出された輪郭線を記録された描画特徴に基づいて修正することにより、ユーザーの個性が表れたイラスト画像を得ることができる。

図１は、本発明の一実施形態に係わるデジタルカメラのブロック図である。ユーザーが使用するカメラ１００には、撮影レンズ２、ＡＦ（オートフォーカス）制御部２ａ、絞り２ｂ、絞り制御部２ｃ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４が設けられている。撮影レンズ２は、内部にフォーカスレンズを有し、入射した被写体２０の像を撮像素子３上に結像させる。

ＡＦ制御部２ａは、撮影レンズ２の合焦位置を、後述する画像処理部５内において画像処理を行い、いわゆる山登り法により検出し、フォーカスレンズを駆動して、合焦位置に移動させる。なお、山登り法は、撮影画像のコントラスト信号ピークから合焦位置（ピント位置）を検出する方式であるが、山登り法以外にも、例えば位相差法や三角測距法等公知の合焦方法に置き換えてもよい。ＡＦによって合焦位置に達すると、このときの撮影レンズ２を検出することにより、距離判定を行うことができる。この場合、撮影レンズ２がズームレンズのときには、ズーム位置等を加味して距離の判定を行う。

撮影レンズ２内または近傍に、シャッターや絞りの効果を奏する絞り２ｂが設けられる。絞り２ｂは、撮影時に所定の口径まで開き、露出が終了すると閉じて露光を終了させるものである。絞り制御部２ｃは、絞り２ｂを駆動して絞り径を設定する。この絞りを変えることによって、レンズの被写界深度が変化するので、背景のぼけ具合などを調整して、被写体を浮かび上がらせたり、背景をしっかりと描写したりするなど、表現の切り替えを行うことができる。撮像素子３は、多数の受光面（画素）からなるＣＣＤやＣＭＯＳセンサ等であり、撮影レンズ２を介して被写体２０からの像を受光しこれを画像信号に変換する。

アナログフロントエンド（ＡＦＥ）部５は、アナログデジタル変換（ＡＤ）手段を含み、撮像素子４からの信号をデジタル信号化する。そして、ＡＦＥ部５は、撮像素子３から出力される画像信号について各種処理を行う。また、ＡＦＥ部４には、撮像素子３のいくつかの画素をまとめて、一括して読み出す機能も設けられている。たとえば、４画素（２×２）や９画素（３×３）など、各画素の信号レベルが小さいときには、いくつかの画素信号を加算して、Ｓ／Ｎを向上させることができ、また、感度を上げることも出来る。

このような操作によって感度を上げることができ、シャッタースピードを速くする等、撮影上の工夫が可能となる。シャッタースピードが速いと、動いている被写体が止まっているように撮影することが可能となる。シャッタースピードをユーザーが切り替え可能とし、適正露出を絞りや感度の制御で行うカメラでは、一般にシャッタースピードを遅くすれば、例えば、川の流れを撮影する際に、水の流れが糸のように伸びた描写が可能となる。シャッタースピードを速くすれば、同じ川の流れを撮影したとしても、その瞬間がとらえられ、水しぶきが上がった瞬間や、さざなみの様子が細かく再現可能となる。また、スポーツ写真でも、シャッタースピードを速くすれば、被写体の動きを止めることが出来、その表情までをはっきり写しこむことが可能となる。

また、ＡＦＥ部４は、撮像素子３の出力する信号を取捨選択する機能を有し、受光範囲の中から限られた範囲の画像データを抽出することが出来る。一般に撮像素子３の画素から間引いた画素信号を抽出する場合には、高速読出が可能となる。これにより構図確認用の画像信号を、画像処理部５によって高速処理し、表示制御部８ａを介して表示パネル８に表示することにより、フレーミングが可能となる。

ＡＦＥ部４の出力は、画像処理部５に接続されている。画像処理部５は、入力信号の色や階調やシャープネスを補正処理する。また、得られた画像信号を所定のレベルに増幅して、正しい濃淡、正しい灰色レベルに設定する増感機能なども有している。また、画像処理部５は、ライブ画像をリアルタイムに表示部に表示できるように、撮像素子３からの信号を表示パネル８に表示できるようなサイズに加工するリサイズ手段を有する。この働きによって、撮影に先立って撮像素子に入射する像を確認でき、これを見ながら撮影時のタイミングやシャッターチャンスを決定することが出来る。

また、画像処理部５は、撮像素子３からの信号を利用して、被写体２０の画像の特徴などを判定する画像判定機能を有している。例えば、画像情報に含まれる色の成分を検出する色判定部、画像の信号レベルのコントラストを判定するコントラスト判定部、また、画像の特徴を調べて、主要被写体の位置を検出する顔検出部５ａなどが、このシステムには含まれている。コントラスト判定部は、前述したように、撮影レンズ２のピント合わせ部（ＡＦ制御部）２ａとの連動で、オートフォーカスの制御を行うが、このピント合わせ時のレンズ位置の情報によって、前述のように、被写体の距離や、背景の距離などが判定できる。さらに、コントラストの高いものがどこにあるかなどを判定することが出来る。

さらに、画像処理部５には、画像の強調処理を行なう強調部５ｂが接続されており、この強調部５ｂは、画像のコントラストを強調し、その画像を白黒の描画のように表現するための処理を行なう。画像処理部５内には、画像合成を行なう合成部５ｃが設けられており、この合成部５ｃは強調部５ｂによって強調された輪郭線などをユーザーの特徴に合わせて変更し、画像合成を行うための処理部である。

また、カメラ１００には、圧縮部６、記録部９ａ、記録メディア９、外部通信９ｂ、データベース９ｃ、表示パネル８、表示制御部８ａ及びタッチ判定部８ｃが設けられている。圧縮部６は、撮影時に画像処理部５から出力された信号を圧縮する。圧縮部６内には、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）４やＨ．２６４などの圧縮用コア部で構成される動画用の圧縮部６ａ及び ＪＰＥＧ（Ｊｏｉｎｔ
Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）コア部など静止画像用の圧縮部６ｂが設けられる。記録部９ａは、圧縮された画像信号を記録メディア９に記録する。記録メディア９はカメラに着脱可能な保存用の記録媒体である。なお、圧縮部６は記録メディア９に記録されている画像を表示パネル８に再生する際には、画像伸張も行なう。

表示パネル８は、例えば液晶や有機ＥＬ等から構成され、撮影時には観察用に被写体画像を表示し、再生時には伸張処理された記録画像を表示する。表示制御部８ａは、表示部８への表示を制御する。また、表示パネル８の表面には、タッチパネル８ｂが設けられており、パネルに表示された基準線に合わせて、ユーザーがこの線をペン等でなぞると、その筆圧が、タッチ判定部８ｃによって判定される。このタッチ判定部８ｃにおいて判定された、ユーザーの筆圧の特徴は、前述の記録部９ａ内のデータベース９ｃに記録される。なお、データベース９ｃには、上述の基準線等の情報を記憶しておいてもよい。この内容は、カメラ製造時に記録しても良いが、ネット経由で、ユーザーの好みに合わせて書き換え可能としても良い。

記録メディア９に記録された撮影画像データは、外部通信部９ｂによって、パーソナルコンピュータ（ＰＣ）などを介して、ホームページやブログなどのサービスを行なうブログサイトサーバー５１にアップロード可能である。もちろん、送信は、ネット経由に限るものではなく、例えば、メモリーカードやＰＣなどを介して送信するように構成してもよい。

このようにしてアップロードされた画像は、他のユーザー３１がＰＣ３４などで鑑賞可能となっているが、不特定多数の人が見られるようにもなることから、プライベートな写真は、そのまま掲載せず、後述するように、イラスト風処理を行って掲載すればよい。

カメラ１０には、補助光発光部１１、ＭＰＵ（Micro Processing Unit）１、レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃが設けられる。補助光発光部１１は、白色ＬＥＤやＸｅ放電発光管を有し、電流量で光量が制御できるようになっている。状況に応じて被写体２０に光を照射して、明るさの不足や不均一な明るさを防止する。

ＭＰＵ１は、カメラ全体の制御を司る制御手段である。レリーズスイッチ１ａ、モード切替スイッチ１ｂ、他のスイッチ１ｃおよびプログラム等を記憶したＲＯＭ(不図示)が、ＭＰＵ１に接続される。ＭＰＵ１内には、時刻を検出するための時計１ｔが設けられており、写真の撮影日時を検出し、撮影画像と関連付けを行う。各スイッチ１ａ〜１ｃは、ユーザーの操作を検出して、その結果をマイクロコントローラからなる演算制御手段であるＭＰＵ１に通知する。ＭＰＵ１が、これらのスイッチの操作に従って動作を切り換える。また、ＭＰＵ１は撮影時には、ＡＦ制御部２ａや絞り制御部２ｃ等の制御を行う撮影制御部として機能する。

次に、図２ないし図８を用いて、本実施形態における画像のイラスト化について説明する。イラスト化にあたっては、円弧を用いて画像を単純化し、つまり、画像を単純化した円弧の集合体で表し、この際、予め記憶しておいたユーザーのタッチを用いて円弧の調子を変えることにより、ユーザーの個性が表現される画像となるようにしている。

まず、図２は、画像の円弧への変換を説明する図である。図２（Ａ）に示すような人物画像から、髪の毛の部分を抽出すると、図２（Ｂ）に示すようになる。この髪の毛の部分の形状は、図２（Ｃ）に示すように、二つの円弧によって代替が可能である。このように、画像をいくつかの単純な線、ここでは円弧に分割する。

イラスト化にあたっては、円弧状部分を、ユーザーのタッチに切り換えるような画像変換を行う。つまり、画像のエッジ部を強調すると、図３の輪郭線１０１に示すように、画像を構成する各輪郭線の一部は、太い線となる。線が太いと、そこに円弧状の部分１０２（破線）が含まれやすくなるので、このような輪郭を単純な線に置き換えていくことで、元の画像の特徴を活かしつつ、タッチが単純化され、イラスト化を行なうことができる。

次に、図４を用いて、円弧に分解してからユーザーのタッチを加味してイラスト化を行なう手順について説明する。図４(Ａ)に示されるような、画像から分解抽出された円弧は、図４（Ｂ）に示すように、半径Ｒの円から、異なる角度θで切り出したものとして表わされる。また、イラスト化するにあたって、円弧の線は、図４（Ｃ）に示すように、いくつかの太さＴで、変化をつけたほうがよい。細かい線が集まっている部分を太い線で表現すると、画像が隙間なく塗りつぶされてしまい、識別不能となってしまうことから、描画線は複数用意した方がよい。

このような円弧を用い、写真画像を単純化しイラスト化するが、このように画一的な変更では、ユーザーの個性を入れ込むことが困難である。そこで、図４（Ｄ）に示すように、表示パネル８上に表示された図４（Ｃ）のような円弧を、ユーザーにペン１１０等によってなぞらせる。これをタッチパネル８ｂで読み取って、ユーザーが円弧を表わすとき、どんな筆遣いをするかを検出し、データベース９ｃに記録する。

このユーザーの筆跡記録のフローを、図６に示す。まず、デジタルカメラ１００の表示パネル８ｂ上に、図４（Ｃ）に示すような基準線を表示する（Ｓ２０１）。この基準線に対してユーザーがペン１１０等を用いて書き込みを行なったかを判定し（Ｓ２０２）、書き込みがなされないと、書き込まれるまで待機する（Ｓ２０５）。基準線に対して書込みが行われたら、基準線に対する筆跡と、そのときの筆圧等のユーザーの描画特徴を検出し、この基準線に関連付けて、データベース９ｃに記録を行う（Ｓ２０３）。

このとき、基準線は複数、設定できるようにしてもよく、その場合は、パネルに表示する基準線を、ステップＳ２０６において変更しながら、ユーザーの描画特徴を記録していく。本実施形態においては、説明の単純化のために、円弧状の線を置き換える例を示しているが、太さの違う直線や、らせん状の線などについても、ユーザーの特徴を記録しておき、画像から置き換えができるようにしてもよい。

このような手順により、例えば、図７（Ａ）に示される線を、ユーザーがペン１１０でなぞると、図７（Ｂ）に示されるようなユーザーの手書きに変換される。なお、図７（Ｂ）のデータを基に、異なる半径Ｒや角度θに、図７（Ｃ）（Ｄ）に示すように、種々の変換を行なうことができる。このように、本実施形態においては、まず、「写真画像輪郭の単純線への変換」を行い、次いで、「単純線のユーザー線への置き換え」を行って、ユーザーの個性を反映しながら写真画像をイラスト処理している。

次に、図５に示すイラスト化のプロセス図を用いて、画像処理の一例を説明する。まず、図５（Ａ）に示す画像が原画像とする。この原画像では、輪郭などの線があいまいなので、これを強調部５ｂによって強調させ、図５（Ｂ）に示す画像を得る。この時、白黒の処理を行って、輪郭部を黒く浮き出させてもよい。

このように輪郭もくっきりと太くなると、図３に示したように、単純な線に置き換えやすくなる。この置換え可能部分を図５（Ｃ）のように、円弧を当てはめて、一致度を確認しながら検出する。このように円弧で代替できる部分は、もとの画像は図５（Ｄ）に示すように消し去り、図５（Ｅ）に示すように円弧に置き換えを行なう。

各円弧について、ユーザーがどのようなタッチで描くかを、データベース９ｃに記録してあるので、図５（Ｅ）に示すような置き換えられた円弧部を、ユーザーのタッチに変更すると、図５（Ｆ）のようになる。ここでは、髪の毛の部分のみを変換する例を示したが、このような操作を残る画像内でも行う。

この場合、抽出された円弧は、先に述べたように、半径Ｒ、太さＴや角度θで表わされるもので、画像の各部は、図７（Ｂ）だけでなく、小さな円弧（Ｒが小さい図７（Ｃ）、θが小さい図７（Ｄ））なども利用する。もちろん太さＴも、画像に応じて変更する。このような円弧のどれを使うかは、いくつかのユーザー用の円弧の中で、もっとも強調した画像との一致度が高いものを利用すればよい。

このようなイラスト化のプロセスを、図８に示すフローチャートを説明する。まず、イラスト化を顔部のみ行なうか否かの判定を行う（Ｓ２１１）。イラスト化は、画像の全画面について行わなくとも、プライバシー保護のため、顔部だけ行うニーズもあることから、ここでは、顔部のみ修正するモードを用意している。このモード選択は、モード切替スイッチ１ｂ、他のスイッチ１ｃによって行ない、また、画像データの中から顔部の検出は顔検出部５ａによって行なう。

判定の結果、顔部のみのイラスト化であれば、ステップＳ２１２に進み、強調部５ｂによってエッジ強調(図５（Ｂ）参照)を行なう。一方、顔部のみが選択されていない場合には、ステップＳ２１９に進み、画像全体について、エッジ強調処理を行なう。ステップＳ２１２またはＳ２１９でのエッジ強調処理が終わると、続いて、エッジ強調された部分から、所定の半径、所定のθの円弧に置き換えられる部分を検索する（Ｓ２１４）。これは、無制限に行うと、膨大な手間がかかるので、Ｒ、θ、Ｔについて、数種類ごとを用意し、それを画面内に当てはめていき、一致度の高い円弧、部分を探す。

ステップＳ２１４において、一致度の高い円弧部があれば、ステップＳ２１５に進み、このときの太さＴ、半径Ｒ、角度θを検出する。続いて、検出されたＴ、Ｒ、θを用いて、データベース９ｃから筆跡の読出しを行う（Ｓ２１６）。そして、この読み出された筆跡データを用いて、ユーザーのタッチとなるように置き換えを行なう（Ｓ２１７）。

次いで、太さＴについて、円弧部の変更が必要であれば、置き換えを行なう（Ｓ２１８）。図７（Ｂ）（Ｃ）に示したように、図７（Ｂ）のデータから半径Ｒを変更して図７（Ｃ）を得る変更は、縮小表示にて行え、また角度θの変換（図７（Ａ）→図７（Ｄ））も画像処理で代替できるので、全ての描画について、ユーザーの特徴を検出して記録する必要はない。ただし、図７（Ｃ）のように縮小だけでは、線の太さが一致しなくなる可能性があり、ステップＳ２１８では、Ｔのみは補正するようにしている。

ステップＳ２１４において、円弧状部分の判定、置き換えが、対象となる部分に適用完了した場合には、ステップＳ２１９に進む。ステップＳ２１４からＳ２１８において、円弧で置き換えられなかった部分は強調表示を行わず、むしろぼかすような感じにして見えにくく処理し（Ｓ２１９）、イラスト化の処理を終了する。

このような処理を行なうことにより、画像に対してユーザーごとの特徴づけが可能となり、コンテンツに特徴を持たせることができる。また、生の写真画像をイラスト化していることにより、プライバシーに考慮した画像を作成することが可能となる。

次に、顔検出部５ａにおける顔検出について、図８および図９を用いて説明する。前述の図８のＳ２１２では、顔部のみイラスト化するために、画面内の顔部検出を行っている。この顔部の検出は、図９に示すように、画面内の被写体２０の陰影の分布から、予め記憶されている顔パターン２０ｂと類似する部分２０ａを抽出し、これを顔位置とすることにより行なう。

この顔部の検出について、図１０に示すフローチャートを用いて説明する。まず、デジタルカメラ１００内に記憶されている基準となる顔パターン２０ｂを読み出し、設定する（Ｓ２２１）。続いて、被写体像２０の画像データの各部分と、顔パターン２０ｂの一致度を判定し、マッチングする部分を探す（Ｓ２２２）。

続いて、ステップＳ２２２における判定の一致度が所定以上を判定し（Ｓ２２３）、所定以上でマッチングされれば、顔検出されたとして、その大きさと位置を表わす信号を出力する（Ｓ２２４）。本実施形態におけるイラスト化は、この一致度の高い顔部分にもとづいて、イラスト化する部分を決定する。

ステップＳ２２３において、マッチングする部分がなかった場合には、画面内で基準パターンと合わせて一致度を判定する場所を変え（Ｓ２２６）、同じ動作を繰り返す。画面内を一巡したら、顔の位置や角度に合わせて、基準パターンの大きさや陰影の分布を切り替え、所定のパターン数で画面内をくまなく検出し終わったら、このフローを終了する。

このように、本実施形態においては、美しい背景はそのままにしながらも、顔の部分のみをイラスト化して、プライバシーに留意した公開しやすい画像を作ることができる。

次に、本発明の第２実施形態について、図１１を用いて説明する。第１実施形態においては、イラスト化処理をデジタルカメラ１００内で行なっていたが、第２実施形態においては、ネット上に接続された装置も利用して、第１実施形態と同様なイラスト化処理を行なっている。

図１１は、第２実施形態における画像処理システムを示すブロック図であり、カメラ１００は、前述したように、撮影レンズや撮像素子などからなる撮像部、この撮像素子から得られた画像の被写体のコントラスト情報などから撮影レンズのピント合わせを行うＡＦ制御部等が設けられている。ＡＦ制御部によるピント合わせの結果を用いて、被写体までの距離を判定することが可能である。

撮像素子から得られた画像信号を画像処理部において画像処理し、これを圧縮して記録部に記録する。また、カメラ内に時計部を有し、撮影された写真画像データは撮影時刻情報と関連付けて記録される。また、撮影時刻情報のほかにも、場所情報も合わせて記録できるように、ＧＰＳ情報用のセンサを搭載してもよい。また、カメラ１００には、図１のタッチパネル８ｂと同様なタッチパネルが設けられており、ペン１１０等によってユーザーの筆跡等の描画特徴(ユーザータッチ情報)の検出が可能に構成されている。

カメラ１００は外部通信端子を通じて、パーソナルコンピュータ（ＰＣ）３２と接続可能であり、また、ＰＣ３２はインターネット３５を通じて、ブログサイトサーバー５１にネット接続が可能となっている。なお、このブログサイトサーバー５１との通信は、ここでは、ＰＣ３２の通信機能を流用しているが、カメラ１００内にこの通信機能を内蔵し、直接ネット接続できるようにしてもよい。ＰＣ３２からブログサイトサーバー５１に画像を送信するにあたって、タッチパネルにおいて検出したユーザータッチ情報も添付して送信可能となっている。

ブログサイトサーバー５１内には、画像の輪郭強調を行なう輪郭強調部５３、ユーザータッチ情報を記録するタッチ記録部５４、輪郭抽出された線画を特徴データによって変換する線画変換部５６、親密なユーザーのアドレス等を記録するデータベース５８を有している。また、ブログサイトサーバー５１内には、ユーザーから送信されてきた画像データを記録する記録部５２、アクセスしてきたユーザーを特定するためのユーザー特定部５７、イラスト化画像等を他のユーザーのＰＣ３４に表示制御をおこなうための表示制御部５９、ユーザーからアクセスされた際に処理するアクセス反応部５５を有している。

ブログサイトサーバー５１は、インターネット３５を介して、情報閲覧者のパーソナルコンピュータ（ＰＣ）３４に接続されており、このＰＣ３４は、ブログサイトサーバー５１に記録されている画像を閲覧することができる。

このように第２実施形態の画像処理システムは構成されており、デジタルカメラ１００で撮影された画像３３は、インターネット３５に接続されたＰＣ３２を介して、ブログサイトのサーバー５１にアップロードされる。ブログサイトサーバー５１は、受信したカメラ１００の撮影画像を記録部５２に記録する。

ここで、画像３３は、ユーザーの描画の特徴を示すユーザータッチ情報３３ａが添付されている。ユーザータッチ情報３３ａは、基準線とユーザー手書き線の関係を示す情報であり、この情報に基づいて画像のイラスト化が行われる。この描画の特徴は、図３および図４に示した円弧に限らず、例えば、画像３６ａに示すような人物の顔をパネル上に表示し、これをユーザーがなぞった結果をタッチセンサで検出し、その検出結果３６ｂを、画像３６ａの各線と関連付け、これをユーザータッチ情報としてもよい。

ブログサイトサーバー５１は、記録部５２に記録された画像データとユーザータッチ情報を用い、第１実施形態におけるイラスト化処理と同様にする。すなわち、写真画像の輪郭を輪郭強調部５３により強調し、強調された輪郭部を、図５において詳述したような手順でユーザーの描線タッチに置き換え処理を行ない、写真画像をイラスト化する。

このようにして、画像３３をユーザータッチでイラスト化された画像を、ブログサイトサーバー５１にアクセスしたＰＣ３４に送信し、ＰＣ３４上に再生表示する。このアクセスや表示はアクセス反応部５５や表示制御部５９の連携によって行う。なお、イラスト化処理をおこなうために、ブログサイトサーバー５１は、画像を記録するのみならず、ユーザータッチ情報３３ａもタッチ記録部５４に記録しておく。

ブログサイトサーバー５１は、通常イラスト化した画像をＰＣ３４に送信するが、プライバシーに留意する必要のない相手であれば、もとの画像をそのまま見てもらってもよい。そこで、親密なユーザーについては、データベース５８に記録しておき、もとのままの画像を表示させてもよい。

このように、第２実施形態においては、デジタルカメラ１００内には複雑な画像処理部を設けなくとも、第１実施形態と同様の効果を得ることができる。この実施形態においては、イラスト化等の処理は、デジタルカメラ１００よりも処理能力の高いブログサイトサーバー１００において実行している。このため、より緻密なイラスト化を行なうことができると共に、ユーザーの個性が反映されたイラスト化が可能となる。

なお、第２実施形態の説明において、デジタルカメラ１００に設けたタッチパネルを用いて、ユーザーのタッチ情報を取得していたが、これに限らず、送信用のＰＣ３２に、基準線を表示し、マウスなどで、それをなぞった結果を、ユーザータッチ情報として送信してもよい。

このように本実施形態においては、ユーザーの描画の特徴や癖などを反映させた画像が作成できる画像処理システムを提供することができる。また、タッチパネル等により、その基準線になぞるだけですむので、めんどうな画像処理を行うのが嫌な人でも、画像をＵＰすれば、そのユーザーらしい個性的な画像にすることが可能である。また、イラスト化処理等されるので、プライバシー問題を解消することもできる。

なお、本発明の実施形態の説明にあたっては、デジタルカメラやインターネット上のブログサイトを例に挙げて説明したが、これに限らず、携帯カメラ等種々の機器に設けられた撮像装置でもよく、またネットワーク等の通信網を介して接続された画像処理装置でもよい。

本発明の第１実施形態に係わるデジタルカメラの全体を示すブロック図である。 本発明の第１実施形態において、画像のイラスト化にあたって画像の円弧への変換を説明する図であり、図２（Ａ）は処理対象の人物画像を示し、図２（Ｂ）は髪の毛の部分を抽出した図であり、図２（Ｃ）は、髪の毛の部分の形状を二つの円弧によって代替した図である。 本発明の第１実施形態において、画像のイラスト化にあたって、輪郭を単純線に置き換えることを示す図である。 本発明の第１実施形態において、円弧に分解してからユーザーのタッチを加味してイラスト化を行なう手順について説明する図であって、図４（Ａ）は、画像から抽出した円弧を示す図であり、図４（Ｂ）は円弧の元の円を示す図であり、図４（Ｃ）は太さを代えた円弧を示す図であり、図４（Ｄ）はユーザーの描画特徴の入力状態を示す図である。 本発明の第１実施形態において、画像のイラスト化のプロセスを示す図であり、図５（Ａ）は原画像であり、図５（Ｂ）は原画像を強調処理した図であり、図５（Ｃ）は円弧と一致度を確認することを示す図であり、図５（Ｄ）は円弧を一致する円に置き換えた図であり、図５（Ｅ）は円弧をユーザータッチで置き換えた図であり、図５（Ｆ）は円弧をユーザータッチに置き換えた図である。 本発明の第１実施形態において、筆跡記録の動作を示すフローチャートである。 本発明の第１実施形態において、イラスト化にあたって筆跡変換を示す図であり、図７（Ａ）は基準線を示し、図７（Ｂ）はユーザーがなぞった状態を示す図であり、図７（Ｃ）は角度θをそのままとし半径Ｒ１をＲ２に変換した図であり、図７（Ｄ）は半径Ｒ１をそのままで角度θをθ２に変換した図である。 本発明の第１実施形態において、イラスト化の動作を示すフローチャートである。 本発明の第１実施形態において、顔検出のプロセスを示す図である。 本発明の第１実施形態において、顔検出の動作を示すフローチャートである。 本発明の第２実施形態に係わる画像処理システムを示すブロック図である。

符号の説明

１・・・ＭＰＵ、１ａ・・・レリーズスイッチ、１ｂ・・・モード切替スイッチ、１ｃ・・・他のスイッチ、１ｔ・・・時計、２・・・撮影レンズ、２ａ・・・ＡＦ(オートフォーカス)制御部、２ｂ・・・絞り、２ｃ・・・絞り制御部、３・・・撮像素子、４・・・アナログフロントエンド（ＡＦＥ）部、５・・・画像処理部、５ａ・・・顔検出部、５ｂ・・・強調部、５ｃ・・・合成部、６・・・圧縮部、６ａ・・・静止画用圧縮部、６ｂ・・・動画用圧縮部、８・・・表示パネル、８ａ・・・表示制御部、８ｂ・・・タッチパネル、８ｃ・・・タッチ判定部、９・・・記録メディア、９ａ・・・記録部、９ｂ・・・外部通信部、９ｃ・・・データベース、１１・・・補助光発光部、２０・・・被写体、２０ａ・・・部分、２０ｂ・・・顔パターン、３１・・・他のユーザー、３２・・・ＰＣ、３３・・・画像、３３ａ・・・ユーザータッチ情報、３４・・・ＰＣ、３５・・・インターネット、３６ａ・・・画像、３６ｂ・・・検出結果、５１・・・ブログサイトサーバー、５２・・・記録部、５３・・・輪郭強調部、５４・・・タッチ記録部、５５・・・アクセス反応部、５６・・・線画変換部、５７・・・ユーザー特定部、５８・・・データベース、５９・・・表示制御部、１００・・・デジタルカメラ、１０１・・・輪郭線、１０２・・・円弧状の部分、１１０・・・ペン

Claims (15)

1. 画像を表す画像データを記憶する画像データ記憶部と、
   ユーザーが描画した描画線の特徴を表す特徴データを記憶する特徴データ記憶部と、
   上記画像データのうち上記画像の輪郭を現すデータを上記特徴データに基づいて修正する画像修正部と、
   を備えたことを特徴とする画像処理装置。
2. 上記画像処理装置は、さらに線画を表示する表示部を備え、上記特徴データ記憶部に記憶された上記特徴データは上記表示部に表示された上記線画を上記ユーザーがなぞった上記描画線、又はその近傍位置の圧力変化であることを特徴とする請求項１に記載の画像処理装置。
3. 上記特徴データ記憶部に記憶された上記ユーザーの線画の特徴を表す特徴データは、所定の形状の線画に対応する上記ユーザーの描画線であり、上記画像修正部は上記画像の輪郭線のうち上記所定の形状に近似した形状の上記輪郭線の部分を、特徴データ記憶部に記憶された上記描画線に置き換えることを特徴とする請求項２に記載の画像処理装置。
4. 上記特徴データ記憶部に記憶された上記ユーザーの線画の特徴を表す特徴データは、円弧の対応する上記ユーザーの描画線であることを特徴とする請求項３に記載の画像処理装置。
5. さらに上記画像データから顔部を検出する顔部検出部を有し、上記画像修正部は上記顔部検出部によって検出された顔部について上記修正を行なうことを特徴とする請求項１に記載の画像処理装置。
6. 上記画像を取得する撮像部と、
   ユーザーが描画した描画線の特徴を表す特徴データを検出する特徴データ検出部と、
   上記画像修正部によって修正された画像を表示する表示部と
   を具備することを特徴とする請求項１に記載の画像処理装置。
7. 上記画像と、この画像に添付された上記特徴データを受信し、それぞれ上記画像データ記憶部と特徴データ記憶部に記憶し、上記画像処理装置は、上記画像修正部によって修正された画像を、アクセス請求に応じて表示する表示制御部を具備することを特徴とする請求項１に記載の画像処理装置。
8. 撮影した画像を表す画像データと、
   ユーザーが描画した描画線の特徴を表す特徴データを上記画像データと関連付けて送信する送信部と、
   上記画像データと上記特徴データを受信する受信部と、
   上記画像データのうち上記画像の輪郭を表すデータを上記特徴データに基づいて修正する画像修正部と、
   を備えたことを特徴とする画像処理システム。
9. ユーザーが描画した描画線の特徴を表す特徴データが記憶された特徴データ記憶部から上記特徴データを読み出すステップと、
   所定の画像を表す画像データのうち上記画像の輪郭を表すデータを、上記ユーザーの線画を表す特徴データに基づいて修正するステップと、
   を備えたことを特徴とする画像処理方法。
10. ユーザーが描画した描画線の特徴を表す特徴データが記憶された特徴データ記憶部から上記特徴データを読み出すステップと、
    所定の画像を表す画像データのうち上記画像の輪郭を表すデータを、上記ユーザーの線画を表す特徴データに基づいて修正するステップと、
    をコンピュータに実行させるコンピュータプログラム。
11. 画像を表す画像データを記憶する画像データ記憶部と、
    描画にあたって複数の基本線に対して、それぞれ特徴データを記憶する特徴データ記憶部と、
    上記画像データから画像の輪郭線を抽出する輪郭線抽出部と、
    この輪郭線抽出部によって抽出された上記輪郭線と上記基本線との一致度を検出し、上記輪郭線を上記基本線の集合体に置き換え、この基本線を上記特徴データによって修正する画像修正部と、
    を具備することを特徴とする画像処理装置。
12. 上記基本線は、少なくとも円弧、直線、スパイラルのいずれか一つを含むことを特徴とする請求項１１に記載の画像処理装置。
13. 上記基本線は、少なくとも円弧の半径Ｒ、角度θ、太さＴのいずれかを含むことを特徴とする請求項１１に記載の画像処理装置。
14. 上記画像から顔部を検出する顔部検出部を有し、上記輪郭線抽出部および画像修正部は、検出された顔部について処理することを特徴とする請求項１１に記載の画像処理装置。
15. 上記画像修正部によって上記輪郭線に一致する上記基本線を検出できない輪郭線については、修正せずにぼかすことを特徴とする請求項１１に記載の画像処理装置。