JP2012257112A - 撮像装置およびプログラム - Google Patents

Abstract

【課題】撮像装置において、撮影者の感情を直接的に反映させた撮影画像を得ること。
【解決手段】前方被写体を撮影したときの後方被写体（撮影者）の顔の撮影画像データＧｓから判定される感情が“悲しい”（“嬉しい”）ときには、当該前方被写体の撮影画像データＧｍは、撮影者の感情“悲しい”（“嬉しい”）が直接的に反映された“暗い色調”（“明るい色調”）の撮影画像データＧｍｓに補正されて保存されるようになる。よって、暫くした後に、ユーザが前記保存された撮影画像データＧｍｓを表示させて見たときには、撮影当時のユーザ（撮影者）の感情“悲しい”（“嬉しい”）を蘇らせて見させることができる。
【選択図】 図６

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置およびその制御プログラムに関する。

従来のデジタルカメラにおいて、撮影時に、被写体になる人物の感情を反映した撮影画像を得ることは多く考えられている。

また近年、撮影者自身の感情を反映した撮影画像を得ることも考えられている。

例えば［特許文献１］には、ビデオカメラのグリップ部に温度等のセンサを設け、撮影者の興奮状態や緊張状態を反映した撮影画像を得る技術が記載されている。

また、［特許文献２］には、メインカメラとサブカメラを有し、サブカメラで撮影者を撮影し、撮影者が笑っていれば人物撮影モード、そうでなければ風景撮影モード等、撮影者の表情から被写体の種類を判定し、それに適した撮影モードに自動設定することで、被写体に応じた好適な撮影を行うことができる撮像装置が記載されている。

特開平０４−０９８９７９号公報 特開２００９−２６７４６８号公報

前記特許文献１に記載のビデオカメラでは、特殊なセンサ（温度センサ／湿度センサ／抵抗センサ）を設ける必要があり、また、撮影者の興奮状態等は感知できても、嬉しいか悲しいかといった喜怒哀楽（感情）までは分からないため、撮影画像に撮影者の感情を反映させることはできなかった。

また、前記特許文献２に記載の撮像装置では、撮影者は風景を撮影する場合に比べて人物を撮影する場合に笑顔になりやすいという特性を利用し、撮影モードを被写体に応じて自動設定するものであり、好適な撮影を行うことができるものの、撮影画像に撮影者の感情を反映させるようなことはできなかった。

本発明は、このような課題に鑑みなされたもので、撮影者の感情を直接的に反映させた撮影画像を得ることが可能になる撮像装置およびその制御プログラムを提供することを目的とする。

本発明に係る撮像装置は、被写体を撮影する第１の撮影手段と、この第１の撮影手段による被写体の撮影に伴い撮影動作する第２の撮影手段と、この第２の撮影手段により撮影された撮影画像に含まれる人物の感情を判定する感情判定手段と、前記第１の撮影手段により撮影された被写体の撮影画像に対して、前記感情判定手段により判定された人物の感情を反映させた画像処理を施す画像処理手段と、を備えたことを特徴としている。

本発明に係るプログラムは、第１の撮像部および第２の撮像部を備えた電子機器のコンピュータを制御するためのプログラムであって、前記コンピュータを、ユーザ操作に応じて前記第１の撮像部に被写体を撮影させる第１の撮影手段、この第１の撮影手段による被写体の撮影に伴い前記第２の撮像部を撮影動作させる第２の撮影手段、この第２の撮影手段により撮影された撮影画像に含まれる人物の感情を判定する感情判定手段、前記第１の撮影手段により撮影された被写体の撮影画像に対して、前記感情判定手段により判定された人物の感情を反映させた画像処理を施す画像処理手段、として機能させることを特徴としている。

本発明によれば、撮影者の感情を直接的に反映させた撮影画像を得ることが可能になる撮像装置およびその制御プログラムを提供できる。

本発明の撮像装置の実施形態に係るデジタルカメラ１０の外観構成を示す図であり、同図（Ａ）はその正面斜視図、同図（Ｂ）はその背面斜視図。 前記デジタルカメラ１０の電子回路の構成を示すブロック図。 前記デジタルカメラ１０のプログラムメモリ４０に予め記憶される各種動作プログラムやテーブルの内容を示す図。 前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理を示すフローチャート。 前記デジタルカメラ１０の絵画画像撮影処理に伴う撮影者情報解析処理を示すフローチャート。 前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理に伴う被写体撮影画像の変換表示動作（具体例１）を示す図。 前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理に伴う被写体撮影画像の変換表示動作（具体例２）を示す図。 前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理に伴う被写体撮影画像の変換表示動作（具体例３）を示す図。

以下図面により本発明の実施の形態について説明する。

本発明の撮像装置は、以下に説明する撮影専用のデジタルカメラ１０として構成されるか、デジタルカメラ１０を備えたＰＤＡ(personal digital assistants)、携帯電話、携帯ゲーム機等として構成される。

図１は、本発明の撮像装置の実施形態に係るデジタルカメラ１０の外観構成を示す図であり、同図（Ａ）はその正面斜視図、同図（Ｂ）はその背面斜視図である。

このデジタルカメラ１０は、前方被写体を撮影するためのメインカメラと後方被写体（例えば、撮影者）を撮影するためのサブカメラとを有し、その筐体には、後述する電子回路のキー操作部４１（図２参照）として、電源ボタン１１、レリーズボタン１２、ズームキー１３、セットボタン１４、上下左右のカーソルキー１５，１６，１７，１８が配置される。

筐体正面には、メインカメラ用のレンズユニット１９、フラッシュ部２０が配置され、筐体背面には、サブカメラ用のレンズユニット２１、透明のタッチパネル部２２Ｔを重ねてなる液晶表示部（モニタ）２２が配置される。

つまり、このデジタルカメラ１０では、筐体正面側のメインカメラ用レンズユニット１９と筐体背面側のサブカメラ用レンズユニット２１とで、互いに異なる方向を撮影可能であると共に、サブカメラ用レンズユニット２１は、同筐体背面側の液晶表示部（モニタ）２２と同方向に配置されているので、撮影者は、液晶表示部（モニタ）２２の画面を見ながら同撮影者自身を撮影することができる。

図２は、前記デジタルカメラ１０の電子回路の構成を示すブロック図である。

このデジタルカメラ１０の電子回路は、メインカメラ部ＭＣとサブカメラ部ＳＣと共通部ＣＣとで構成される。

先ず、メインカメラ部ＭＣを主体に説明する。

カメラ筐体の前面に配設されるメインカメラ用レンズユニット１９を介して、メイン撮像素子、例えばＣＭＯＳイメージセンサ３１の撮像面上に前方被写体の光像を入射して結像させる。

前方被写体のスルー画像表示、あるいはライブビュー画像表示とも称されるモニタリング状態では、このメインＣＭＯＳイメージセンサ３１での撮像により得た画像信号をメインＡＧＣ・Ａ／Ｄ変換部３２に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の前方被写体画像データはシステムバスＳＢを介してメインバッファメモリ３３に保持される。

このメインバッファメモリ３３に保持された前方被写体画像データに対して、メイン画像処理部３４が適宜必要な画像処理を施す。メイン画像処理部３４では、メインバッファメモリ３３が保持する、前記メインＣＭＯＳイメージセンサ３１が備えるベイヤー配列のカラーフィルタの構成に応じた前方被写体画像データに対してデジタル現像処理、具体的には画素補間処理、ガンマ補正処理、マトリックス演算等のデモザイク処理を施すことで、輝度色差系（ＹＵＶ）の画像データに変換する。

メイン画像処理部１５は、現像後の前方被写体の画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成し、システムバスＳＢを介して液晶表示部２２へ送る。液晶表示部２２では、送られてきた前方被写体の画像データに基づいてそのスルー画像を表示する。

この液晶表示部２２は、例えばバックライト付きのカラー液晶パネルとそのコントローラとで構成される。この液晶表示部２２の画面上部に一体にして透明導電膜を用いたタッチパネル部２２Ｔが構成される。

このタッチパネル部２２Ｔでユーザが手指等で表面をタッチ操作すると、タッチパネル部２２Ｔでは操作座標の位置を算出し、算出した座標信号を前記システムバスＳＢを介して後述するＣＰＵ３８に送出する。

また、前記メインカメラ用レンズユニット１９と同じくカメラ筐体前面には、マイクロホン３５が配設され、前方被写体方向の音声が入力される。マイクロホン３５は入力した音声を電気信号化し、音声処理部３６へ出力する。

音声処理部３６は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン３５から入力する音声信号をデジタルデータ化する。さらに音声処理部３６は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ(moving picture experts group-4 advanced audio coding)形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。

加えて音声処理部３６は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ３７を駆動して、拡声放音させる。

次に、サブカメラ部ＳＣを主体に説明する。

カメラ筐体の背面に配設されるサブカメラ用レンズユニット２１を介して、サブ撮像素子であるＣＭＯＳイメージセンサ４９の撮像面上に後方被写体（例えば、撮影者）の光像を入射して結像させる。

このサブＣＭＯＳイメージセンサ４９での撮像により得た画像信号をサブＡＧＣ・Ａ／Ｄ変換部５０に送りデジタル化する。このデジタル値の後方被写体の画像データはシステムバスＳＢを介してサブバッファメモリ５１に保持される。

このサブバッファメモリ５１に保持された後方被写体の画像データに対して、サブ画像処理部５２が顔画像検出用に画素数及び階調ビットを調整した画像データを作成し、システムバスＳＢを介してＣＰＵ３８へ送出する。

以上のメインカメラ部ＭＣおよびサブカメラ部ＳＣの回路を共通部ＣＣのＣＰＵ３８が統括して制御する。このＣＰＵ３８は、メインメモリ３９、プログラムメモリ４０と直接接続される。メインメモリ３９は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ４０は、例えばフラッシュメモリなどの電気的に書き換え可能な不揮発性メモリで構成され、後述する各種動作プログラムやデータ、後述するテーブル等を固定的に記憶する。

ＣＰＵ３８はプログラムメモリ４０から必要なプログラムやデータ等を読出し、メインメモリ３９に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。

さらに前記ＣＰＵ３８は、キー操作部４１から直接入力される各種キー操作信号、及び前記タッチパネル部２２Ｔからのタッチ操作に応じた座標信号に対応して制御動作を実行する。

キー操作部４１は、前述した通り、例えば電源ボタン１１、レリーズボタン１２、ズームキー１３、セットボタン１４、上下左右のカーソルキー１５，１６，１７，１８等を備える。

ＣＰＵ３８は、システムバスＳＢを介して前記メインＡＧＣ・Ａ／Ｄ変換部３２、メインバッファメモリ３３、メイン画像処理部３４、液晶表示部２２、タッチパネル部２２Ｔ、音声処理部３６、サブＡＧＣ・Ａ／Ｄ変換部５０、サブバッファメモリ５１、サブ画像処理部５２の他、さらにレンズ駆動部４２、フラッシュ駆動部４３、メインイメージセンサ（ＩＳ）駆動部４４、サブイメージセンサ（ＩＳ）駆動部５３、及びメモリカードコントローラ４５と接続される。

レンズ駆動部４２は、ＣＰＵ３８からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）４６の回転を制御し、前記メインカメラ用レンズユニット１９を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置と、開口絞りの開口度合をそれぞれ個別に制御させる。

フラッシュ駆動部４３は、前方被写体の静止画像撮影時にＣＰＵ３８からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部２０を撮影タイミングに同期して点灯駆動する。

メインイメージセンサ駆動部４４，サブイメージセンサ駆動部５３は、それぞれその時点で設定されている撮影条件等に応じて、前記メインＣＭＯＳイメージセンサ３１，サブＣＭＯＳイメージセンサ４９の走査駆動を行なう。

前記メイン画像処理部３４は、前記キー操作部４１のシャッタレリーズボタン操作に伴う画像撮影時に、メインＡＧＣ・Ａ／Ｄ変換部３２から送られてきてメインバッファメモリ３３に保持される前方被写体の撮影画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ(joint photographic experts group)であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ４５を介してメモリカード４７に記録される。

またメイン画像処理部３４は、再生モード時にメモリカード４７からメモリカードコントローラ４５を介して読出されてくる画像データをシステムバスＳＢを介して受取り、メインバッファメモリ３３に保持させた上で、このメインバッファメモリ３３に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、得た画像データのデータ量を減じた後にシステムバスＳＢを介して液晶表示部２２で表示させる。

メモリカードコントローラ４５は、カードコネクタ４８を介してメモリカード４７と接続される。メモリカード４７は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部には不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。

前記サブ画像処理部５２は、前記キー操作部４１のシャッタレリーズボタン操作に伴う画像撮影時に、サブＡＧＣ・Ａ／Ｄ変換部５０から送られてきてサブバッファメモリ５１に保持される後方被写体の撮影画像データを顔画像検出用に処理した画像データを作成し、ＣＰＵ３８へ送出する。

図３は、前記デジタルカメラ１０のプログラムメモリ４０に予め記憶される各種動作プログラムやテーブルの内容を示す図である。

このプログラムメモリ４０には、電子回路全体の制御を司るシステムプログラムや撮影処理プログラム、撮影画像記録処理プログラム、撮影画像再生処理プログラム等、メインカメラ部ＭＣの基本的な制御を行うための各種処理プログラム４０ａの他、顔検出プログラム４０ｂ、感情判定プログラム４０ｃ、感情−色調補正パラメータ対応テーブル４０ｄ、視線検出プログラム４０ｅ、絵画変換プログラム４０ｆが記憶される。

顔検出プログラム４０ｂには、メインカメラ部ＭＣによる前方被写体の撮影動作に伴い、サブカメラ部ＳＣにより撮影されてサブバッファメモリ５１からＣＰＵ３８へ転送された、例えば撮影者が含まれる後方被写体の画像データを、予め設定された顔の輪郭や目・鼻・口の配置などの特徴量に基づき解析し、同撮影者の顔の部分の画像データを検出するためのプログラムが記述される。

感情判定プログラム４０ｃには、前記顔検出プログラム４０ｂに従い検出された後方被写体撮影時における撮影者の顔の部分の画像データを、目・鼻・口の位置，形状，傾き等の表情に基づき解析し、同撮影者の感情（例えば、笑う／悲しむ／怒る）を判定するためのプログラムが記述される。

感情−色調補正パラメータ対応テーブル４０ｄには、前記感情判定プログラム４０ｃに従い判定される撮影者の顔の感情の種類（例えば、笑う／悲しむ／怒る）に対応付けられて、メインカメラ部ＭＣにより撮影されてメインバッファメモリ３３に保持された前方被写体の撮影画像データを、その色調を補正（明度と彩度で補正）してアート変換するためのパラメータ（例えば、笑う→明度＋３，彩度＋３／悲しむ→明度−３，彩度±０／怒る→明度−３，彩度−３）が記述される。

視線検出プログラム４０ｅには、前記顔検出プログラム４０ｂに従い検出された後方被写体撮影時における撮影者の顔の部分の画像データに基づき、同撮影者の瞳が目のどの位置にあるかを解析し、メインカメラ部ＭＣにより撮影されて液晶表示部２２にモニタ表示された前方被写体の画像データに対するユーザの視線（注目点）を検出するためのプログラムが記述される。

絵画変換プログラム４０ｆには、メインカメラ部ＭＣにより撮影されてメインバッファメモリ３３に保持された前方被写体の撮影画像データを、パステル調に変換したり、ゴシック調に変換したり、水墨画調に変換したりするためのプログラムが記述される。

このように構成されたデジタルカメラ１０は、前記ＣＰＵ３８が前記プログラムメモリ４０から読み出した各種のプログラムやテーブル（４０ａ〜４０ｆ）に記述されている命令およびデータに従い回路各部の動作を制御し、ソフトウエアとハードウエアとが協働して動作することにより、以下の動作説明で述べる機能を実現する。

次に、前記構成によるデジタルカメラ１０の動作について説明する。

図４は、前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理を示すフローチャートである。

図５は、前記デジタルカメラ１０の絵画画像撮影処理に伴う撮影者情報解析処理を示すフローチャートである。

なお、絵画画像撮影モードとは、メインカメラ部ＭＣにより撮影された前方被写体の画像データを、前記絵画変換プログラム４０ｆによる絵画変換の種類（例えば、パステル調／ゴシック調／水墨画調等）からユーザ操作に応じて選択的に設定された種類の画風に変換して取得するための撮影モードである。

この絵画変換の種類（画風）は、被写体撮影前に予め設定されるか、撮影後に選択するかの何れであってもよい。

ユーザ（撮影者）操作に応じて、液晶表示部２２に撮影モードの選択メニューを表示させ、当該モードの選択メニューから絵画画像撮影モードを選択して起動させると（ステップＳ１）、メインカメラ部ＭＣにより撮像されてメイン画像処理部３４にて処理された前方被写体の画像データが、液晶表示部２２に表示されてモニタされる（ステップＳ２）。

ここで、前記モニタ表示された前方被写体の画像データに基づき撮影者所望の構図が決定されてレリーズボタン１２が操作されると（ステップＳ３（Ｙｅｓ））、メインカメラ部ＭＣにより撮影された前方被写体の画像データがメインバッファメモリ３３に保持されると共に、サブカメラ部ＳＣにより撮影された後方被写体（撮影者）の画像データがサブバッファメモリ５１に保持される（ステップＳ４）。

そして、図５における撮影者情報解析処理に移行される（ステップＳＡ）。

この撮影者情報解析処理では、前記サブバッファメモリ５１に保持された後方被写体（撮影者）の画像データが顔検出プログラム４０ｂに従い解析され（ステップＡ１）、当該撮影者の画像データから顔の部分の画像データが検出されたか否か判断される（ステップＡ２）。

ここで、前記後方被写体（撮影者）の画像データから顔の部分の画像データが検出されたと判断されると（ステップＡ２（Ｙｅｓ））、当該検出された撮影者の顔画像データが感情判定プログラム４０ｃに従い表情解析され、前方被写体の撮影に伴う撮影者の感情（笑う／悲しむ／怒る）が判定される（ステップＡ３）。

すると、前記判定された撮影者の感情に対応する色調補正のパラメータが、感情−色調補正パラメータ対応テーブル４０ｄから読み出される（ステップＡ４）。

また、前記撮影者の顔画像データから視線検出プログラム４０ｅに従い、液晶表示部２２のモニタ表示に対する視線が検出されたか否かが判断され（ステップＡ５）、視線が検出されたと判断されると（ステップＡ５（Ｙｅｓ））、当該モニタ表示されている前方被写体の撮影画像の中での撮影者の視線の位置が注目点として設定される（ステップＡ６）。

なお、前記ステップＡ５における視線検出プログラム４０ｅの起動については、ユーザ任意にＯＮ／ＯＦＦ設定可能であり、視線検出ＯＦＦに設定された場合には、視線検出なしと判断される（ステップＳ５（Ｎｏ））。

こうして、前記撮影者情報解析処理（ステップＳＡ）が終了すると、前記被写体撮影に伴うユーザ（撮影者）の感情判定に対応して前記テーブル４０ａから読み出された色調補正パラメータに従い、前記メインバッファメモリ３３に保持されている前方被写体の撮影画像データの色調が補正される（ステップＳ５）。例えば撮影者の感情判定が“笑う”の場合は、前方被写体の撮影画像の色調は［明度＋３，彩度＋３］の明るく鮮やかに補正され、“悲しむ”の場合は［明度−３，彩度±０］の暗い色調に補正され、“怒る”の場合は［明度−３，彩度−３］の暗く彩りの悪い色調に補正される。

また、前記被写体撮影に伴うユーザ（撮影者）の視線検出に対応して設定された前方被写体の撮影画像データの注目点に基づき、当該撮影画像データの注目点を中心とする同心円上のコントラストが強く変更されたり、同注目点付近の画像部分が拡大されたりして、撮影画像の注目点を目立たせる処理が実行される（ステップＳ６）。

また、ユーザ設定された絵画変換の種類（画風：パステル調／ゴシック調／水墨画調）に従い絵画変換プログラム４０ｆが実行され、前記メインバッファメモリ３３に保持された前方被写体の撮影画像データが設定された画風に変換される（ステップＳ７）。

なお、前記ステップＳ５〜Ｓ７において実行される前方被写体の撮影画像データに対する色調補正処理（Ｓ５）、注目点強調処理（Ｓ６）、絵画変換処理（Ｓ７）は、当該処理の順番が入れ替わってもよい。

こうして、各画像処理の施された前方被写体の撮影画像データは、メインバッファメモリ３３からＣＰＵ３８により読み出され、メモリカード４７内の所定のメモリ領域に転送されて保存される（ステップＳ８）。

図６は、前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理に伴う前方被写体撮影画像の変換表示動作（具体例１）を示す図である。

この具体例１では、被写体撮影時のユーザ（撮影者）の感情が“悲しい”と判定され、また、撮影者の視線検出が“ＯＦＦ”に設定されている場合の画像変換動作について説明する。

レリーズボタン１２の操作に応じて、図６（Ａ）に示すように、メインカメラ部ＭＣにより撮影された前方被写体の撮影画像データＧｍがメインバッファメモリ３３に保持されると共に液晶表示部２２にモニタ表示されると、図６（ａ）に示すように、サブカメラ部ＳＣにより撮影されたユーザ（撮影者）の撮影画像データＧｓがサブバッファメモリ５１に保持され、同撮影者の顔の感情が“悲しい”と判定される（ステップＳ１〜Ｓ４→Ａ１〜Ａ３）。

すると、感情−色調補正パラメータ対応テーブル４０ａから前記撮影者の顔の感情“悲しい”に対応した色調補正パラメータ［明度−３，彩度±０］が読み出され、前記メインバッファメモリ３３に保持された前方被写体の撮影画像データＧｍは、図６（Ｂ）に示すように、暗い色調の撮影画像データＧｍｓに補正される（ステップＡ４，Ａ５（Ｎｏ）→Ｓ５）。

ここで、絵画変換の種類が、例えばゴシック調としてユーザ（撮影者）により予め設定されていた場合は、前記暗い色調に補正された撮影画像データＧｍｓは、さらにゴシック調の撮影画像データに変換処理された後、メモリカード４７内の所定のメモリ領域に転送されて保存される（ステップＳ７，Ｓ８）。

このように、前方被写体を撮影したときのユーザ（撮影者）の顔から判定される感情が“悲しい”ときには、当該前方被写体の撮影画像データＧｍは、ユーザの感情“悲しい”が直接的に反映された暗い色調の撮影画像データＧｍｓに補正されて保存されるようになる。よって、暫くした後に、ユーザが前記メモリカード４７に保存された撮影画像データＧｍｓを表示させて見たときには、撮影当時の撮影者の感情“悲しい”を蘇らせて見させることができる。

図７は、前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理に伴う前方被写体撮影画像の変換表示動作（具体例２）を示す図である。

この具体例２では、被写体撮影時のユーザ（撮影者）の感情が“笑う（嬉しい）”と判定され、また、撮影者の視線検出が“ＯＦＦ”に設定されている場合の画像変換動作について説明する。

レリーズボタン１２の操作に応じて、図７（Ａ）に示すように、メインカメラ部ＭＣにより撮影された前方被写体の撮影画像データＧｍがメインバッファメモリ３３に保持されると共に液晶表示部２２にモニタ表示されると、図７（ａ）に示すように、サブカメラ部ＳＣにより撮影されたユーザ（撮影者）の撮影画像データＧｓがサブバッファメモリ５１に保持され、同撮影者の顔の感情が“笑う（嬉しい）”と判定される（ステップＳ１〜Ｓ４→Ａ１〜Ａ３）。

すると、感情−色調補正パラメータ対応テーブル４０ａから前記撮影者の顔の感情“笑う（嬉しい）”に対応した色調補正パラメータ［明度＋３，彩度＋３］が読み出され、前記メインバッファメモリ３３に保持された前方被写体の撮影画像データＧｍは、図７（Ｂ）に示すように、明るく鮮やかな色調の撮影画像データＧｍｓに補正される（ステップＡ４，Ａ５（Ｎｏ）→Ｓ５）。

ここで、絵画変換の種類が、例えばパステル調としてユーザ（撮影者）により予め設定されていた場合は、前記明るく鮮やかな色調に補正された撮影画像データＧｍｓは、さらにパステル調の撮影画像データに変換処理された後、メモリカード４７内の所定のメモリ領域に転送されて保存される（ステップＳ７，Ｓ８）。

このように、前方被写体を撮影したときのユーザ（撮影者）の顔から判定される感情が“笑う（嬉しい）”ときには、当該前方被写体の撮影画像データＧｍは、ユーザの感情“笑う（嬉しい）”が直接的に反映された明るく鮮やかな色調の撮影画像データＧｍｓに補正されて保存されるようになる。よって、暫くした後に、前記メモリカード４７に保存された撮影画像データＧｍｓを表示させて見たときには、撮影当時の撮影者の感情“笑う（嬉しい）”を蘇らせて見させることができる。

図８は、前記デジタルカメラ１０による絵画画像撮影モードでの撮影処理に伴う前方被写体撮影画像の変換表示動作（具体例３）を示す図である。

この具体例３では、被写体撮影時のユーザ（撮影者）の感情が“笑う（嬉しい）”と判定され、また、撮影者の視線検出が“ＯＮ”に設定されている場合の画像変換動作について説明する。

レリーズボタン１２の操作に応じて、図８（Ａ）に示すように、メインカメラ部ＭＣにより撮影された前方被写体の撮影画像データＧｍがメインバッファメモリ３３に保持されると共に液晶表示部２２にモニタ表示されると、図８（ａ）に示すように、サブカメラ部ＳＣにより撮影されたユーザ（撮影者）の撮影画像データＧｓがサブバッファメモリ５１に保持され、同撮影者の顔の感情が“笑う（嬉しい）”と判定される（ステップＳ１〜Ｓ４→Ａ１〜Ａ３）。

すると、感情−色調補正パラメータ対応テーブル４０ａから前記撮影者の顔の感情“笑う（嬉しい）”に対応した色調補正パラメータ［明度＋３，彩度＋３］が読み出される（ステップＡ４）。

また、液晶表示部２２のモニタ表示に対する撮影者の視線が検出され、前記前方被写体の撮影画像データＧｍの中でのユーザの視線の位置が注目点Ｐとして設定される（ステップＡ５（Ｙｅｓ）→Ａ６）。

すると、前記メインバッファメモリ３３に保持された前方被写体の撮影画像データＧｍは、前記感情−色調補正パラメータ対応テーブル４０ａから読み出された色調補正パラメータ［明度＋３，彩度＋３］に従い、図８（Ｂ）に示すように、明るく鮮やかな色調の撮影画像データＧｍｓに補正される（ステップＳ５）。

またこれと共に、前記撮影者の視線検出に対応して設定された注目点Ｐに基づき、当該撮影画像データＧｍｓの注目点Ｐを中心とする同心円上のコントラストが強く変更され、同注目点Ｐを目立たせる処理が実行される（ステップＳ６）。

ここで、絵画変換の種類が、例えば水彩画調としてユーザ（撮影者）により予め設定されていた場合は、前記明るく鮮やかな色調に補正されると共に注目点Ｐが強調された撮影画像データＧｍｓは、さらに水彩画調の撮影画像データに変換処理された後、メモリカード４７内の所定のメモリ領域に転送されて保存される（ステップＳ７，Ｓ８）。

このように、前方被写体を撮影したときのユーザ（撮影者）の顔から判定される感情が“笑う（嬉しい）”ときで、且つ撮影者視線検出“ＯＮ”のときには、当該前方被写体の撮影画像データＧｍは、ユーザの感情“笑う（嬉しい）”が直接的に反映された明るく鮮やかな色調の撮影画像データＧｍｓに補正されると共に、ユーザの注目点Ｐが強調されて保存されるようになる。よって、暫くした後に、前記メモリカード４７に保存された撮影画像データＧｍｓを表示させて見たときには、撮影当時の撮影者の感情“笑う（嬉しい）”やその注目点Ｐが何処であったかを蘇らせて見させることができる。

なお、前記実施形態では、レリーズボタン１２の操作の伴いメインカメラ部ＭＣによる前方被写体の撮影動作とサブカメラ部ＳＣによる後方被写体（例えば、撮影者）の撮影動作とを共に実行する構成とした。

これに対し、サブカメラ部ＳＣによる後方被写体（撮影者）の撮影動作をメインカメラ部ＭＣによる前方被写体の撮影動作よりも一定時間（例えば0.5秒）の範囲内で少し遅らせて実行することで、レリーズボタン１２を操作した時点よりもその直後の撮影者の前方被写体に対する感情が顔の表情に表れやすいときに該撮影者を撮影して顔検出・感情判定する構成としてもよい。

また、サブカメラ部ＳＣによる後方被写体（撮影者）の撮影動作を、メインカメラ部ＭＣによる前方被写体の撮影動作に合わせたタイミングと前記少し遅らせたタイミングとの２回実行することで、１回目の撮影者の撮影画像からは前方被写体画像に対する視線検出・注目点設定をし、２回目の撮影者の撮影画像からは顔検出・感情判定をする構成としてもよい。

さらに、前記実施形態では、前方被写体の撮影に伴い後方被写体（撮影者）の顔から判定される感情に応じて、前記前方被写体の撮影画像データの色調を補正し、例えば撮影者の感情が“笑う（嬉しい）”ときには明るい色調、“悲しい”ときには暗い色調に補正する構成とした。これに対し、撮影者の感情が“笑う（嬉しい）”ときにはパステル調、“悲しい”ときにはゴシック調に画像変換する等、前方被写体の撮影に伴い撮影者の顔から判定される感情に応じて、当該前方被写体の撮影画像データの絵画調を変換する構成としてもよい。

なお、前記各実施形態において記載したデジタルカメラ１０の動作手法、すなわち、図４のフローチャートに示す絵画画像撮影モードでの撮影処理、および図５のフローチャートに示す前記絵画画像撮影処理に伴う撮影者情報解析処理などの各手法は、コンピュータに実行させることができるプログラムとして、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶媒体（４７）に格納して配布することができる。そして、デジタルカメラ（１０）のコンピュータ（３８）は、この外部記憶媒体（４７）に記憶されたプログラムを記憶装置（４０）に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記各実施形態において説明した被写体撮影画像に対するユーザ（撮影者）感情反映機能を実現し、前述した手法による同様の処理を実行することができる。

また、前記手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク（公衆回線）上を伝送させることができ、この通信ネットワークに接続された通信装置によって、前記プログラムデータを、デジタルカメラ（１０）のコンピュータ（３８）に取り込み、前述した被写体撮影画像に対するユーザ（撮影者）感情反映機能を実現することもできる。

なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が異なる形態にして組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。

以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

［１］
被写体を撮影する第１の撮影手段と、
この第１の撮影手段による被写体の撮影に伴い撮影動作する第２の撮影手段と、
この第２の撮影手段により撮影された撮影画像に含まれる人物の感情を判定する感情判定手段と、
前記第１の撮影手段により撮影された被写体の撮影画像に対して、前記感情判定手段により判定された人物の感情を反映させた画像処理を施す画像処理手段と、
を備えたことを特徴とする撮像装置。

［２］
前記第２の撮影手段により撮影された撮影画像に含まれる人物画像に基づいて前記第１の撮影手段により撮影された被写体の撮影画像に対する前記人物の視線の位置を検出する注目点検出手段と、
この注目点検出手段により検出された前記被写体の撮影画像に対する人物の視線の位置を強調する処理を当該撮影画像に施す画像強調手段と、
を備えたことを特徴とする［１］に記載の撮像装置。

［３］
前記第２の撮影手段は、前記第１の撮影手段による被写体の撮影に伴い当該被写体の撮影時点よりも一定時間内の遅れた時点で撮影動作することを特徴とする［１］または［２］に記載の撮像装置。

［４］
前記感情判定手段は、前記第２の撮影手段により撮影された撮影画像に含まれる人物の顔の部分を検出する顔検出手段を有し、この顔検出手段により検出された前記撮影画像における顔の部分から当該人物の感情を判定し、
前記画像処理手段は、前記感情判定手段により判定された人物の感情が嬉しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を明るい色調に画像処理し、前記感情判定手段により判定された人物の感情が悲しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を暗い色調に画像処理する、
ことを特徴とする［１］ないし［３］の何れかに記載の撮像装置。

［５］
前記感情判定手段は、前記第２の撮影手段により撮影された撮影画像に含まれる人物の顔の部分を検出する顔検出手段を有し、この顔検出手段により検出された前記撮影画像における顔の部分から当該人物の感情を判定し、
前記画像処理手段は、前記感情判定手段により判定された人物の感情が嬉しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を明るい種類の絵画調に画像変換し、前記感情判定手段により判定された人物の感情が悲しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を暗い種類の絵画調に画像変換する、
ことを特徴とする［１］ないし［３］の何れかに記載の撮像装置。

［６］
第１の撮像部および第２の撮像部を備えた電子機器のコンピュータを制御するためのプログラムであって、
前記コンピュータを、
ユーザ操作に応じて前記第１の撮像部に被写体を撮影させる第１の撮影手段、
この第１の撮影手段による被写体の撮影に伴い前記第２の撮像部を撮影動作させる第２の撮影手段、
この第２の撮影手段により撮影された撮影画像に含まれる人物の感情を判定する感情判定手段、
前記第１の撮影手段により撮影された被写体の撮影画像に対して、前記感情判定手段により判定された人物の感情を反映させた画像処理を施す画像処理手段、
として機能させるためのプログラム。

１０ …デジタルカメラ
１１ …電源ボタン
１２ …レリーズボタン
１３ …ズームキー
１４ …セットボタン
１５〜１８…カーソルキー（上下左右）
１９ …メインカメラ用レンズユニット
２０ …フラッシュ部
２１ …サブカメラ用レンズユニット
２２ …液晶表示部（モニタ）
２２Ｔ…透明タッチパネル部
ＭＣ …メインカメラ部
ＳＣ …サブカメラ部
ＣＣ …共通部
３１ …メインＣＭＯＳイメージセンサ
３２ …メインＡＧＣ・Ａ／Ｄ変換部
３３ …メインバッファメモリ
３４ …メインＡＧＣ・Ａ／Ｄ変換部
３５ …マイクロホン
３６ …音声処理部
３７ …スピーカ
３８ …ＣＰＵ
３９ …メインメモリ
４０ …プログラムメモリ
４０ａ…各種処理プログラム、
４０ｂ…顔検出プログラム
４０ｃ…感情判定プログラム
４０ｄ…感情−色調補正パラメータ対応テーブル
４０ｅ…視線検出プログラム
４０ｆ…絵画変換プログラム
４１ …キー操作部
４２ …レンズ駆動部
４３ …フラッシュ駆動部
４４ …メインイメージセンサ（ＩＳ）駆動部
４５ …メモリカードコントローラ
４６ …レンズ用ＤＣモータ（Ｍ）
４７ …メモリカード
４８ …カードコネクタ
４９ …サブＣＭＯＳイメージセンサ
５０ …サブＡＧＣ・Ａ／Ｄ変換部
５１ …サブバッファメモリ
５２ …サブ画像処理部
５３ …サブイメージセンサ（ＩＳ）駆動部
Ｇｍ …被写体の撮影画像データ（ユーザ感情反映処理前）
Ｇｍｓ…被写体の撮影画像データ（ユーザ感情反映処理後）
Ｐ …注目点

Claims (6)

1. 被写体を撮影する第１の撮影手段と、
   この第１の撮影手段による被写体の撮影に伴い撮影動作する第２の撮影手段と、
   この第２の撮影手段により撮影された撮影画像に含まれる人物の感情を判定する感情判定手段と、
   前記第１の撮影手段により撮影された被写体の撮影画像に対して、前記感情判定手段により判定された人物の感情を反映させた画像処理を施す画像処理手段と、
   を備えたことを特徴とする撮像装置。
2. 前記第２の撮影手段により撮影された撮影画像に含まれる人物画像に基づいて前記第１の撮影手段により撮影された被写体の撮影画像に対する前記人物の視線の位置を検出する注目点検出手段と、
   この注目点検出手段により検出された前記被写体の撮影画像に対する人物の視線の位置を強調する処理を当該撮影画像に施す画像強調手段と、
   を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記第２の撮影手段は、前記第１の撮影手段による被写体の撮影に伴い当該被写体の撮影時点よりも一定時間内の遅れた時点で撮影動作することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記感情判定手段は、前記第２の撮影手段により撮影された撮影画像に含まれる人物の顔の部分を検出する顔検出手段を有し、この顔検出手段により検出された前記撮影画像における顔の部分から当該人物の感情を判定し、
   前記画像処理手段は、前記感情判定手段により判定された人物の感情が嬉しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を明るい色調に画像処理し、前記感情判定手段により判定された人物の感情が悲しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を暗い色調に画像処理する、
   ことを特徴とする請求項１ないし請求項３の何れか１項に記載の撮像装置。
5. 前記感情判定手段は、前記第２の撮影手段により撮影された撮影画像に含まれる人物の顔の部分を検出する顔検出手段を有し、この顔検出手段により検出された前記撮影画像における顔の部分から当該人物の感情を判定し、
   前記画像処理手段は、前記感情判定手段により判定された人物の感情が嬉しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を明るい種類の絵画調に画像変換し、前記感情判定手段により判定された人物の感情が悲しいと判定された場合は前記第１の撮影手段により撮影された被写体の撮影画像を暗い種類の絵画調に画像変換する、
   ことを特徴とする請求項１ないし請求項３の何れか１項に記載の撮像装置。
6. 第１の撮像部および第２の撮像部を備えた電子機器のコンピュータを制御するためのプログラムであって、
   前記コンピュータを、
   ユーザ操作に応じて前記第１の撮像部に被写体を撮影させる第１の撮影手段、
   この第１の撮影手段による被写体の撮影に伴い前記第２の撮像部を撮影動作させる第２の撮影手段、
   この第２の撮影手段により撮影された撮影画像に含まれる人物の感情を判定する感情判定手段、
   前記第１の撮影手段により撮影された被写体の撮影画像に対して、前記感情判定手段により判定された人物の感情を反映させた画像処理を施す画像処理手段、
   として機能させるためのプログラム。

Images