JP2005175956A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 被写体像を撮像して得られた画像データの画像処理を容易に行う。
【解決手段】 本画像処理装置は、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物について、各撮像対象物間の相対的な位置関係を識別し、識別した各撮像対象物の相対的な位置関係に基づいて各撮像対象物（主要対象物、背景）の画像処理（ぼかし処理など）を行うことができるので、撮影画像の処理を容易に行うことができる。
【選択図】図２

Description

本発明は、撮影された映像情報に画像処理を施して出力する画像処理装置、画像処理方法、および制御プログラムに関するものである。

デジタルスチルカメラなどの普及にともない、一般の家庭で扱う撮像画像の量は、劇的に増加しつつある。これらの撮像画像を利用する際には、なんらかの処理を行うことが多かった。

例えば、撮影画像に各種処理を施したいような場合は、ユーザは撮影画像を一度、画像編集アプリケーションに取り込み、そこでユーザが手作業で画像を編集する必要があった（特許文献１）。また、撮影時に距離情報を取り込むことが無かったので、主要対象物と背景の切り分け等も、画像編集アプリケーション上で行う必要があった。
特開２００２−１２５１４３号公報

しかしながら、上記説明した従来例の場合には、ユーザは撮影画像を画像編集アプリケーションに取り込む必要があり、さらに、取り込んだ撮影画像から主要対象物と背景の切り分け等を画像編集アプリケーション上で行う必要があるため手間がかかった。

本発明は上記説明した従来技術の問題点を解決することを目的として行われたものでありその目的は、被写体像を撮像して得られた画像データの画像処理を容易に行うことができる画像処理装置および画像処理方法を提供することである。

上記目的を達成するための本発明に係る一実施形態の画像処理装置は、以下の構成を有する。すなわち、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別する対象物識別手段と、前記対象物識別手段により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理手段と、を有することを特徴とする。

ここで、例えば、前記対象物識別手段は、前記画像データの撮像地点から各撮像対象物までの距離を各々算出することにより、前記各撮像対象物間の相対的な位置関係を決定することが好ましい。

ここで、例えば、前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記背景とされた対象物に対してぼかし処理を行うことが好ましい。

ここで、例えば、前記画像処理手段は、前記撮像地点から各対象物までの距離が大きいほど、前記ぼかし処理を強めることが好ましい。

ここで、例えば、前記ぼかし処理の度合いを設定するぼかし処理設定手段を更に有することが好ましい。

ここで、例えば、前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記主要対象物に対しシャープネス処理を行うことが好ましい。

ここで、例えば、前記シャープネス処理の度合いを設定するシャープネス処理設定手段を更に有することが好ましい。

上記目的を達成するための本発明に係る一実施形態の画像処理装置は、以下の構成を有する。すなわち、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を画素ごとに識別する対象物識別手段と、前記対象物識別手段により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理手段と、を有することを特徴とする。

ここで、例えば、前記対象物識別手段は、前記画像データの撮像地点から各撮像対象物までの距離を各々算出することにより、前記各撮像対象物間の相対的な位置関係を決定することが好ましい。

ここで、例えば、前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記背景とされた対象物に対してぼかし処理を行うことが好ましい。

ここで、例えば、前記画像処理手段は、前記画像データから各対象物までの距離が大きいほど、前記ぼかし処理を強めることが好ましい。

ここで、例えば、前記ぼかし処理の度合いを設定するぼかし処理設定手段を更に有することが好ましい。

ここで、例えば、前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記主要対象物に対しシャープネス処理を行うことが好ましい。

ここで、例えば、前記シャープネス処理の度合いを設定するシャープネス処理設定手段を更に有することが好ましい。

上記目的を達成するための本発明に係る一実施形態の画像処理方法は、以下の構成を有する。すなわち、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別する対象物識別工程と、前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程と、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の画像処理方法は、以下の構成を有する。すなわち、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を画素ごとに識別する対象物識別工程と、前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程と、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の制御プログラムは、以下の構成を有する。すなわち、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別する対象物識別工程のプログラムコードと、前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程のプログラムコードと、を有することを特徴とする。

上記目的を達成するための本発明に係る一実施形態の制御プログラムは、以下の構成を有する。すなわち、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を画素ごとに識別する対象物識別工程のプログラムコードと、前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程のプログラムコードと、を有することを特徴とする。

本発明の画像処理装置および画像処理方法は、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物について、各撮像対象物間の相対的な位置関係を識別し、識別した各撮像対象物の相対的な位置関係に基づいて各撮像対象物の画像処理を行うことができるので、撮影画像の処理を容易に行うことができる。

以下添付図面を参照して本発明の好適な実施形態について詳細に説明する。

＜第１の実施形態＞
［本実施形態の概要］
まず、本実施形態の概要について説明する。本画像処理装置は、被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別し、識別した複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行うことができる。そのため、ユーザは画像データを画像編集アプリケーションに取り込んだり、取り込んだ画像データから主要対象物と背景の切り分け等を画像編集アプリケーション上で行う必要がないため、画像データの処理を容易に行うことができる。

［画像処理装置：図６〜図９］
本画像処理装置の画像処理について説明をする前に、本画像処理装置の構成について説明する。

本発明は、複数の機器（例えば、ホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、ホストコンピュータ、複写機、ファクシミリ装置など）に適用してもよい。以下の説明では、本画像処理装置として、図６、図７、図８、図９を参照しながらデジタルカメラ、カラーレーザビームプリンタおよびクライアントＰＣからなる構成の一例（画像処理したものを紙などの出力物に記録する場合）を用いて説明するが、デジタルカメラおよびクライアントＰＣからなる構成（画像処理したものをディスプレイ上に表示させる場合）としてもよい。

［デジタルカメラの外観：図６］
まず、電子撮影装置の一例であるデジタルカメラの構成について図６、図７を参照しながら説明する。

図６は、デジタルカメラの外観形状を示す外観斜視図である。図６において、矩形状のデジタルカメラ１は、例えば、本体部２とカメラ部３とから構成され、これらは回動自在に結合されている。カメラ部３には、背面５ａに、撮像レンズ７が設けられており、カメラ部３を、本体部２を軸にして、図面前方もしくは図面後方回りで１８０度回動させることにより位置７０に移動させることができる。

本体部２には、前面４ａに、液晶表示部６が設けられており、被写体を撮像して取り込んだ画像を、撮影時に表示させたり、あるいは撮影後に再生させることができる。この液晶表示部６を撮影者に向けた状態で上記カメラ部３を１８０度後方回りで回動させると、撮影者自信を被写体として捕らえてその画像を液晶表示部６に表示させることができる。この前面４ａの液晶表示部６の右側には、撮影モード、再生モード、および通信モードを切り替えるためのファンクション切り替えキー１８が設けられる。

また、上面４ｂには、電源スイッチ８、シャッターキー９、「ＤＥＬ」キー１０、「＋」キー１１、「−」キー１２、ディスプレイキー１４、ズームキー１５などの入力キーが設けられている。この上面４ｂから背面４ｃにかけて、開閉自在に開閉蓋１７が設けられており、その開閉蓋１７の内部には、図示せぬが、例えば、電源供給用の外部電源端子と、ＬＣＤ６の表示データと同様の表示データを出力するためのビデオ出力端子ａ（図７）と、画像データ（圧縮データ）、付加情報（文字データ）、制御信号等を入出力するためのデジタル端子ｂ（図７）とが設けられている。

［デジタルカメラの内部構成：図７］
次に、内部構成について説明する。図７はデジタルカメラ１の内部構成を示すブロック図である。

図７に示したデジタルカメラ１は、例えば、ＬＣＤ６、ＣＣＤ２０、バッファ２１、Ａ／Ｄ変換器２２、駆動回路２３、タイミングジェネレータ２４、ＤＲＡＭ２５、圧縮／伸張回路２６、フラッシュメモリ２７、ＲＯＭ２８、ＲＡＭ２９、キー入力部３０、ＣＰＵ３１、シグナルジェネレータ３２、ＶＲＡＭ３３、Ｄ／Ａ変換器３４、バッファ３５、Ｉ／Ｏポート３６を備えている。

ＣＣＤ２０は、レンズ７で結像した被写体のカラー映像信号を受光し、受光面上に配された各転送電極毎に受光量に比例した電荷を蓄積し、駆動回路２３により供給される駆動信号に応じて、各転送電極に貯えられた蓄積電荷を電気信号（アナログ信号）として、１電極づつ順次、バッファ２１を介してＡ／Ｄ変換器２２に出力する。

Ａ／Ｄ変換器２２は、ＣＣＤ２０から出力される電気信号をアナログ信号からデジタル信号に変換するものであり、その変換されたデジタル信号を画像データ（カラー）としてタイミングジェネレータ２４に供給する。駆動回路２３は、タイミングジェネレータ２４から供給されるタイミング信号に基づいてＣＣＤ２０の露光及び読み出しタイミングを駆動制御する。タイミングジェネレータ２４は、駆動回路２３を制御するタイミング信号を発生する。

ＤＲＡＭ２５は、タイミングジェネレータ２４からバスを介して撮像状態を示す画像データを一時的に記憶する半導体メモリである。圧縮／伸張回路２６は、ＤＲＡＭ２５に格納された画像データを、所定符号化方式を用いて圧縮処理して、これを圧縮データとしてフラッシュメモリ２７に記憶させたり、そのフラッシュメモリ２７に記憶された圧縮データを読み出して、逆に伸張処理する。

キー入力部３０は、前述したように、電源スイッチ８、シャッターキー９、「ＤＥＬ」キー１０、「＋」キー１１、「−」キー１２、ディスプレイキー１４、ズームキー１５、切り替えキー等を備える。シグナルジェネレータ３２は、バスを介して送られてくる画像データ（伸張されているもの（再生）、もしくはタイミングジェネレータ２４から直接送られてくるもの（撮影中））に同期信号を付加してビデオ信号を作成するものであり、ＶＲＡＭ３３は、シグナルジェネレータ３２で作成されたビデオ信号を表示データとして記憶するメモリである。

Ｄ／Ａ変換器３４は、シグナルジェネレータ３２から出力されるビデオ信号をデジタル信号からアナログ信号に変換し、これをバッファ３５を介してＬＣＤ６にもしくはビデオ出力端子ａに外部機器が接続されていた場合にはその外部機器に出力する。ＬＣＤ６は、バッファ３５を介して入力されたビデオ信号に基づいて液晶を駆動させ表示画像を形成するユニットである。

ＣＰＵ３１は、ＲＯＭ２８に格納された各種プログラムに従って電気的に結合された各ユニットを制御するものであり、例えばメイン処理、再生処理、通信処理、編集処理等を実行する。ＲＯＭ２８は、ＣＰＵ３１を動作させるための各種制御プログラム、その処理に使用されるパラメータ等を記憶しており、各種制御プログラムは、例えば、メイン処理を実行させるための制御プログラム、再生処理を実行させるための制御プログラム、及び編集処理を実行させるための制御プログラムを含む。

ＲＡＭ２９は、ＣＰＵ３１が各種制御プログラムを実行するためのワークエリアとして機能する。ビデオ出力端子ａには、ケーブルが接続可能であり、そのケーブルを介して外部表示装置にＬＣＤ６の表示内容と同様の表示内容をデータ出力することが出来る。Ｉ／Ｏポート３６には、例えばＲＳ２３２Ｃ（シリアル形式）等のケーブル２００が接続可能であり、そのケーブル２００を介して図示のごとくパーソナルコンピュータ等の外部機器１００との間でシリアルデータ入出力を行うことができる。なお、この外部機器１００には、図示せぬが、ＲＯＭ２８に格納されたプログラムに従って、装置全体を制御する制御装置と、ＣＲＴ等の表示装置と、キーボード等の入力装置が設けられており、制御装置はデジタルカメラ１のＣＰＵ３１との間でデータ通信を行うことにより、通信処理を行う。 ［カラーレーザビームプリンタ：図８］
次に、プリンタ装置の一例であるカラーレーザビームプリンタの構成について、図８、図９を参照しながら説明する。なお、モノクロプリンタの場合、その構成要素はカラーレーザビームプリンタの印刷色を黒一色に限定したものに等しく、その説明については割愛する。また適用するプリンタは、カラーレーザビームプリンタに限られるものではなく、インクジェットプリンタおよびLEDプリンタ等他のプリント方式のカラープリンタでも良く、プリンタ機能以外のＯＡ機能（スキャナ、コピー、FAX）を有した複合機でもよい。

図８は本発明を適用可能な出力装置の構成を示す断面図であり、カラーレーザビームプリンタ（ＣＬＰ）の場合を示す。図において、１６００はＣＬＰ本体であり、外部機器から送られる、プリンタ言語で記述されたコードデータやイメージデータを受け、これらのデータに基づいて１ページ分のマゼンタ、シアン、イエロー、ブラックの多値画像データを生成する画像生成部制御手段（=コントローラ）１０００（以下、単に「コントローラ」と記すことがある）と入力多値画像データに応じて変調したレーザビームを感光ドラム上に走査することにより潜像を形成しこれを記録紙に転写した後定着させるという一連の電子写真プロセスによる記録を行う印刷部(=プリンタエンジン)１５００（以下エンジン）から構成される。１５３０は操作のためのスイッチおよびＬＣＤ表示器等が配されている操作パネルである。

コントローラ１０００とプリンタエンジン１５００はインタフェース信号線１２００によって接続されている。主なインタフェース信号として、／ＲＤＹ，／ＰＲＮＴ，／ＴＯＰ，／ＬＳＹＮＣ、ＶＤＯ７〜ＶＤＯ０、ＶＣＬＫがあり、以下これについて簡単に説明する。

／ＲＤＹ信号は、コントローラに対してエンジンから送出される信号であって、エンジンが後述する／ＰＲＮＴ信号を受ければいつでもプリント動作を開始できる状態、またはプリント動作を継続できる状態にあることを示す信号である。／ＰＲＮＴ信号は、エンジンに対してコントローラから送出される信号であって、プリント動作の開始、またはプリント動作の継続を指示する信号である。

／ＴＯＰ信号は、副走査（垂直走査）方向の同期信号であって、コントローラに対してエンジンから送出される。／ＬＳＹＮＣ信号は、主走査（水平走査）方向の同期信号であって、コントローラに対してエンジンから送出される。ＶＤＯ７〜ＶＤＯ０信号は、エンジンに対してコントローラから送出される画像信号であって、エンジンが印字すべき画像濃度情報を示す。ＶＤＯ７が最上位、ＶＤＯ０が最下位の８ビットで表わされる。エンジンでは、ＶＤＯ７〜ＶＤＯ０信号がFFＨで現像中のトナー色の最大濃度で印字し、００Ｈで印字しない。これらは転送同期信号ＶＣＬＫに同期して送出される。

［プリンタエンジンの動作］
次に図８及び図９を用いてプリンタエンジン１５００における動作を説明する。プリンタエンジン１５００はプリンタコントローラ１０００から／ＰＲＮＴ信号を受け取ると、不図示の駆動手段により、感光ドラム１５０６及び転写ドラム１５０８を図示矢印方向に回転させる。続いて、ローラ帯電器１５０９の帯電を開始し、感光ドラム１５０６上の電位を所定の値に均一に帯電する。

次に、給紙ローラ１５１１によって、記録用紙カセット１５１０から記録用紙１５２８を転写ドラム１５０８に給紙する。転写ドラム１５０８は、中空の支持体上に誘電体シートを張ったもので、感光ドラム１５０６と同速で矢印方向に回転する。この転写ドラム１５０８に記録用紙１５２８が供給されると、転写ドラムの支持体上に設けられたグリッパ１５１２によって記録用紙１５２８が保持され、吸着ローラ１５１３及び吸着用帯電器１５１４により記録用紙１５２８を転写ドラム１５０８に吸着させる。

同時に、現像装置の支持体１５１５を回転させて、支持体１５１５に支持された４つの現像装置１５１６Ｍ、１５１６Ｃ、１５１６Ｙ、１５１６Ｂｋのうち、第１のトナーであるマゼンタのトナーが入った現像装置１５１６Ｍを感光ドラム１５０６に対向させる。なお、１５１６Ｃはシアンのトナーが入った現像装置、１５１６Ｙはイエローのトナーが入った現像装置、１５１６Ｂｋはブラックのトナーが入った現像装置である。

一方、プリンタエンジン１５００は、転写ドラム１５０６に吸着された記録用紙１５２８の先端を検出器１５１７によって検出し、所定のタイミングで垂直同期信号／ＴＯＰを発生してコントローラ１０００に送出する。コントローラ１０００は印字ページに対する最初の／ＴＯＰ信号を受け取ると、プリンタＲＡＭ１００９内のページメモリに格納されている画像データのうち、第１の印字色であるマゼンタのデータを所定のタイミングで読み出す。読み出された８ビットの画像データＤ７〜Ｄ０は、画像信号ＶＤＯ７〜ＶＤＯ０としてＶＣＬＫ信号に同期してプリンタエンジンに送出される。

コントローラより出力されたＶＤＯ７〜ＶＤＯ０信号は図９に示すようにパルス幅変調回路１５０１に入力され、レベルに応じたパルス幅（２５６段階）のレーザ駆動信号ＶＤＯとなり、レーザドライバ１５０２に送出される。後述する現像時において、レーザ駆動信号ＶＤＯのパルス幅に応じてトナーの付着量が調節でき、それにより、各色２５６階調の濃淡が再現される。次に、図９において前記レーザ駆動信号ＶＤＯに応じて駆動されるレーザダイオード１５０３からのレーザビーム１５２７は不図示のモータにより矢印方向に回転駆動される回転多面鏡１５０４で偏向され、光路上に配置された結像レンズ１５０５を経て、感光ドラム１５０６上を主走査方向に走査し、感光ドラム１５０６上に潜像を形成する。このとき、ビームディテクタ１５０７はレーザビームの走査開始点を検出し、この検出信号から主走査の画像書き出しタイミングを決定するための水平同期信号である／ＬＳＹＮＣ信号が生成される。

以上述べた主走査の動作が繰り返されて１ページ分のマゼンタの潜像が感光ドラム１５０６上に形成されていく。

図８に戻り、感光ドラム１５０６上に形成された潜像は上記マゼンタのトナーが入った現像装置１５１６Ｍによって現像され、マゼンタのトナー像となる。このマゼンタのトナー像は、転写用帯電器１５１９により、回転する転写ローラ１５０８に吸着されている記録用紙１５２８に転写される。この際、転写されずに感光ドラム１５０６上に残ったトナーはクリーニング装置１５２５によって除去される。以上の動作により、記録用紙１５２８上に１ページ分のマゼンタのトナー像が形成される。

次に、現像装置の支持体１５１５を回転させて、第２のトナーであるシアンのトナーが入った現像装置１５１６Ｃを感光ドラム１５０６に対向させる。続いて、マゼンタのときと同様に、転写ローラ１５０８に吸着されたまま回転する記録用紙１５２８の先端を検出器１５１７で検出し、垂直同期信号／ＴＯＰを発生してコントローラ１０００に送出する。これを受けてコントローラ１０００はページメモリ１００２からシアンのデータを読み出す。以下、同様の動作により、記録用紙１５２８上にはマゼンタのトナー像に重ねてシアンのトナー像が転写される。更に、同様にして第３のトナーであるイエロー、第４のトナーであるブラックのトナー像が記録用紙１５２８上に重ねて転写され、フルカラーのトナー像となる。

上記４色のトナー像が全て転写された記録用紙１５２８は、分離帯電器１５２０を経て、分離爪１５２１によって転写ドラム１５０８から剥がされ、搬送手段１５２２により定着装置１５２３に供給される。また、このとき、転写ドラムクリーナ１５２６によって転写ドラム表面の清掃が行なわれる。

記録用紙上のトナー像は定着装置１５２３で加熱、加圧されることによって熔融固着され、最終的なカラー出力画像となる。そして記録の終了した記録用紙は排紙トレイ１５２４に排紙される。

［画像処理装置：図１］
次に、本画像処理装置の特徴的な画像処理の構成の一例について説明する。なお、図１に示す各構成で使用するデジタルカメラ、カラーレーザビームプリンタの基本的な構成は、上記説明されたものである。図１は、本発明である画像処理システムの主たる構成を表したブロック図である。

図１において、本画像処理システムは、デジタルカメラを一例として構成を説明した撮影装置１０１と、カラーレーザビームプリンタを一例として構成を説明したプリンタ装置１０２（出力装置１０５と、主に撮影装置１０１から送られてきたデータを処理し出力装置１０５に送信する、プリンタに付属する処理装置１０３とから構成）と、ユーザが任意に設定を変更できるような機構を施した操作部１０４と、各処理を経て出力装置１０５から出力された出力物１０６とから成る。

［各部分での処理の流れ：図２］
以下、図１の本画像処理システムにおける各部分での処理の流れについて詳細に説明する。ユーザは、任意の対象物を、撮影装置１０１を用いて撮影する。例えば、撮影された対象物の一例が、図２のようであるとする。

図２において、撮影された範囲は、枠２０１で仕切られた範囲であり、枠２０１内に、主要対象物である人物２０２、その背景として、人物２０２よりもやや後部に位置する家２０３、さらにその後部に位置する山２０４、そして空２０５がある。

［撮影範囲内の各対象物の位置関係：図３］
撮影装置１０１は、撮影された範囲内に存在する、複数の撮像対象物および各撮像対象物間の相対的な位置関係を認識する。この点について、図３を用いて詳しく説明する。図３は、撮影装置１０１における、複数の撮像対象物と、各撮像対象物間の相対的な位置関係の認識のイメージの一例を表したものである。

図３において、撮影地点は３０１である。撮影装置１０１は、撮影地点３０１から、一番近い対象物を最前面対象物と認識する。図３での最前面対象物は３０２（撮影地点からの距離：Ｌ１）であり、最前面対象物３０２は、図２で言うところの人物２０２にあたる。

同様にして、撮影地点３０１から、二番目に近い対象物を第二対象物と認識し、図３での第二対象物は３０３（撮影地点からの距離：Ｌ２）であり、図２で言うところの家２０３にあたる。

同様に、第三対象物は３０４（撮影地点からの距離：Ｌ３）であり、図２で言うところの山２０４にあたり、最後面対象物は３０５（撮影地点からの距離：Ｌ４）であり、図２で言うところの空２０５にあたる。

もちろん、対象物が増えれば第X対象物のXの部分は増えていく。このように、撮影装置１０１は、撮影範囲内の対象物の位置関係を認識し、画像情報に各対象物の位置関係情報も付与して、転送手段を介してプリンタ装置１０２内の処理装置１０３に送る。

［処理装置の処理］
次に、処理装置１０３での処理について、説明する。処理装置１０３内では、撮影装置１０１から転送手段を介して送られてきた画像データを、出力装置１０５が認識できるような言語に変換するわけであるが、その変換処理の前に、画像データ自体に様々な処理を加える。

例えば、送られてきた画像データを、より美しく見せるために、主要対象物以外にはボカシ処理を加える。これは、上記各対象物位置関係情報をもとに、最前面対象物以外は背景部とみなし、背景部にボカシ処理を加えることで実現できる。

また、各対象物の距離関係をはっきり表すために、撮影地点３０１から遠くなるにつれてボカシ処理を強めていっても良い。この場合、最前面対象物には処理を加えずに、第一対象物には軽いボカシ処理、第二対象物には第一対象物よりは少し強めのボカシ処理・・・、という感じで、最後面対象物には最も強いボカシ処理を加える感じで、だんだんボカシ処理を強めていく。こうすることで、撮影範囲内の各対象物の位置関係が、見た目にはっきりとわかるような画像を得ることができる。

なお、背景部にボカシ処理をかけるのではなく、逆に最前面対象物にシャープネス処理を加えることで、主要対象物を目立たせ、背景と差別するという方法をとっても良い。またボカシ処理とシャープネス処理を併用しても良い。

処理装置１０３内には、あらかじめこれら例で示したような処理を行うプログラムを組んでおくことによって、撮影装置１０１から送られてきた画像データ内の対象物の距離関係を把握し、自動的に処理を加えることができる。その後、同じく処理装置１０３内で、処理を加えた画像データを、さらに出力装置１０５が認識できるような言語に変換し、出力装置１０５に送る。

処理装置１０３から出力装置１０５に送られたデータは、出力装置１０５内で、上記プリンタ装置の構成で説明したような処理が行われ、出力物１０６が得られる。

以上説明した本実施形態の画像処理装置における一連の画像処理をまとめたのが図３Ｂであり、以下図３Ｂについて説明する。

まず、ステップＳ１００において、対象物の撮像をすると、次に、ステップＳ１１０において、撮像された範囲内に存在する撮像画像および各撮像対象物間の相対的な位置関係を認識（識別）し、次にステップＳ１２０においてステップＳ１１０において識別された複数の撮像対象物における各撮像対象物間の相対的な位置関係に基づいて、主要対象物と主要対象物以外の背景に分け、各撮像対象物に対して予め設定されている画像処理（ぼかし処理、シャープネス処理など）を行う。

以上説明したように、本画像処理装置では、撮影時に撮影対象物の距離情報も一緒に取り込み、距離情報をもとに様々な画像処理を行うことができる。そのため、ユーザは撮影画像を画像編集アプリケーションに取り込んだり、取り込んだ撮影画像から主要対象物と背景の切り分け等を画像編集アプリケーション上で行う必要がないため、撮影画像の処理を容易に行うことができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について図４を用いて説明する。なお、以下の説明では、第１の実施形態と共通する説明（図６〜図９、図１〜３）は重複するので、ここでの説明は省略し、異なる点についてのみ説明する。

撮影装置１０１は、第１の実施形態で述べたような各対象物の位置関係を認識する以外に、撮影された範囲内の各画素毎に距離情報を持つ。各画素毎の距離情報のイメージを表したものの一例を、図４に示す。

図４は、例えば、図２のように撮影された範囲の、任意のある一部分を拡大したものであり、画素の集合４０１である。画素の集合４０１をさらに細かく分けると、各画素４０２、４０３、４０４…のように分けられる。一般的に各画素は、色情報を持っており、これら各画素が集まることによって、図２のような撮影画像を得ることが可能となるわけだが、これら各画素に、色情報と一緒に距離情報を持たせる。

このように、第２の実施形態では、第１の実施形態で述べた各対象物の位置関係情報では無く、各画素毎の距離情報が得られるため、さらに細かい画像処理が可能となる。そのため、第２の実施形態では、第１の実施形態で説明したような対象物毎にボカシ処理やシャープネス処理を加えることはもちろん可能であり、更に、画素単位なのでさらに細かい画像処理が行えるというメリットがある。

例えば、距離情報をもとに、撮影画像のエッジ部を画素単位で検出できるので、エッジ部強調処理やエッジ部にボカシ処理を加え、特殊な画像を得ることもできる。そのため、正確に主要対象物だけを切り出し、合成等の用途に使用することも可能である。このように、画素単位で距離情報を持つことによって、可能となる画像処理は、他にも様々あり、ここに記した内容はほんの一例に過ぎない。

以上説明した本実施形態の画像処理装置における一連の画像処理をまとめたのが図４Ｂであり、以下図４Ｂについて説明する。

まず、ステップＳ１１００において、対象物の撮像をすると、次に、ステップＳ１１１０において、撮像された範囲内に存在する各画素ごとに距離情報を持たせ、さらに、撮像された範囲内に存在する撮像画像および各撮像対象物間の相対的な位置関係を認識（識別）し、次にステップＳ１１２０においてステップＳ１１１０において識別された複数の撮像対象物における各撮像対象物間の相対的な位置関係に基づいて、主要対象物と主要対象物以外の背景に分け、各撮像対象物に対して各画素ごとの距離情報を用いて予め設定されている画像処理（ぼかし処理、シャープネス処理など）を行う。

以上説明したように、本画像処理装置では、画素単位で距離情報を取り込むことにより、画像に、より細かく精密な処理を施すことが可能となる上、処理の幅も広がる。そのため、ユーザは撮影画像を画像編集アプリケーションに取り込んだり、取り込んだ撮影画像から主要対象物と背景の切り分け等を画像編集アプリケーション上で行う必要がないため、撮影画像の処理を容易に行うことができる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について図５を用いて説明する。なお、以下の説明では、第１の実施形態と共通する説明（図６〜図９、図１〜３）または第２の実施形態と共通する説明（図４）は重複するので、ここでの説明は省略し、異なる点についてのみ説明する。

図１の操作部１０４を設けることによって、ユーザは、撮影した画像に対して、任意の画像処理を指定することが可能となる。図５に操作画面の一例を示す。操作画面５０１は、ユーザが操作画面にタッチすることにより、各項目を選択できるような、タッチパネル式である。

操作画面５０１には、撮影装置１０１から転送手段を介して処理装置１０３に送られた画像データをもとに、図３で説明したような、撮影地点と対象物との位置関係を示した図５０４が表示される。ここでユーザは、各対象物毎のウィンドウ５０３を指定し、該対象物にどのような処理を加えるかを、処理一覧メニュー５０２より選択することができる。処理一覧メニュー５０２からは、例えばボカシ処理や、シャープネス処理等が選択可能である。ユーザはこの中から任意の処理を、画面にタッチすることで選択できる。

また、同じ部分を複数回タッチすることで、処理の強度をレベル１からレベル９まで指定できる。処理の強度を指定できることで、実施形態１に記したような、撮影地点からの距離に応じて処理の強度を変える、といったことも可能となる。ここでユーザが指定した結果は、転送手段を介して処理装置１０３に送られ、撮影装置１０１から送られてきた画像データに対して、ユーザの指定した通りの画像処理が行われる。

以上説明した本実施形態の画像処理装置における一連の画像処理をまとめたのが図５Ｂであり、以下図５Ｂについて説明する。

まず、ステップＳ２１００において、対象物の撮像をすると、次に、ステップＳ２１１０において、撮像された範囲内に存在する撮像画像および各撮像対象物間の相対的な位置関係を認識（識別）し、次にステップＳ２１２０においてステップＳ２１１０において識別された複数の撮像対象物における各撮像対象物間の相対的な位置関係に基づいて、撮影地点と各撮像対象物との位置関係および画像処理（ぼかし処理、シャープネス処理など）の一覧メニューを表示する。

次にユーザによって選択された画像処理条件（ぼかし処理、シャープネス処理など）に基づいて各撮像対象物（主要対象物、主要対象物以外の背景）に対して画像処理（ぼかし処理、シャープネス処理など）を行う。

以上説明したように、本画像処理装置では、操作部を設けることで、従来のように画像編集アプリケーションを使用して行っていたような画像処理を、ユーザが手軽に行うことができるようになる。そのため、ユーザは撮影画像を画像編集アプリケーションに取り込んだり、取り込んだ撮影画像から主要対象物と背景の切り分け等を画像編集アプリケーション上で行う必要がないため、撮影画像の処理を容易に行うことができる。

［他の実施形態］
なお、本発明は、例えば、装置、方法、プログラムもしくは記憶媒体などとしての実施態様を取ることが可能であり、具体的には、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。本発明を上記記憶媒体に適用する場合、その記憶媒体には、図３Ｂ、４Ｂ、５Ｂなどの処理を実現するプログラムが格納されることになる。

本発明である画像処理装置の主たる構成を表したブロック図である。 撮影装置により撮影される各対象物の一例を示す図である。 撮影装置により撮影される各対象物の位置関係を示す図である。 第１の実施形態における画像処理を示した図である。 画像を画素単位に分けた時のイメージ図である。 第２の実施形態における画像処理を示した図である。 操作部の一例を示す図である。 第３の実施形態における画像処理を示した図である。 デジタルカメラの外観斜視図である。 デジタルカメラの内部構成ブロック図である。 カラーレーザビームプリンタ断面図である。 カラーレーザビームプリンタ光学ユニットブロック図である。

符号の説明

１０１ 撮影装置
１０２ プリンタ装置
１０３ 処理装置
１０４ 操作部
１０５ 出力装置
１０６ 出力物
２０１ 撮影された対象物の範囲を示す枠
２０２ 人物
２０３ 家
２０４ 山
２０５ 空

Claims (18)

1. 被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別する対象物識別手段と、
   前記対象物識別手段により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記対象物識別手段は、前記画像データの撮像地点から各撮像対象物までの距離を各々算出することにより、前記各撮像対象物間の相対的な位置関係を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記背景とされた対象物に対してぼかし処理を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理手段は、前記撮像地点から各対象物までの距離が大きいほど、前記ぼかし処理を強めることを特徴とする請求項３に記載の画像処理装置。
5. 前記ぼかし処理の度合いを設定するぼかし処理設定手段を更に有することを特徴とする請求項４に記載の画像処理装置。
6. 前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記主要対象物に対しシャープネス処理を行うことを特徴とする請求項２に記載の画像処理装置。
7. 前記シャープネス処理の度合いを設定するシャープネス処理設定手段を更に有することを特徴とする請求項６に記載の画像処理装置。
8. 被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を画素ごとに識別する対象物識別手段と、
   前記対象物識別手段により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理手段と、
   を有することを特徴とする画像処理装置。
9. 前記対象物識別手段は、前記画像データの撮像地点から各撮像対象物までの距離を各々算出することにより、前記各撮像対象物間の相対的な位置関係を決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記背景とされた対象物に対してぼかし処理を行うことを特徴とする請求項９に記載の画像処理装置。
11. 前記画像処理手段は、前記画像データから各対象物までの距離が大きいほど、前記ぼかし処理を強めることを特徴とする請求項１０に記載の画像処理装置。
12. 前記ぼかし処理の度合いを設定するぼかし処理設定手段を更に有することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像処理手段は、前記画像データの撮像地点から各撮像対象物までの距離の中で前記撮像地点に最も近い対象物を主要対象物とし、前記主要対象物以外の残りの対象物を背景とし、前記主要対象物に対しシャープネス処理を行うことを特徴とする請求項９に記載の画像処理装置。
14. 前記シャープネス処理の度合いを設定するシャープネス処理設定手段を更に有することを特徴とする請求項１３に記載の画像処理装置。
15. 被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別する対象物識別工程と、
    前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程と、
    を有することを特徴とする画像処理方法。
16. 被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を画素ごとに識別する対象物識別工程と、
    前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程と、
    を有することを特徴とする画像処理方法。
17. 被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を識別する対象物識別工程のプログラムコードと、
    前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程のプログラムコードと、
    を有することを特徴とする画像処理装置を制御する制御プログラム。
18. 被写体像を撮像して得られた画像データに含まれる複数の撮像対象物の間の相対的な位置関係を画素ごとに識別する対象物識別工程のプログラムコードと、
    前記対象物識別工程により識別された複数の撮像対象物の間の相対的な位置関係に基づいて各撮像対象物の画像処理を行う画像処理工程のプログラムコードと、
    を有することを特徴とする画像処理装置を制御する制御プログラム。

Images