JP4087631B2

JP4087631B2 - Imaging apparatus, image processing apparatus, imaging method, image processing method, image processing system, and program

Info

Publication number: JP4087631B2
Application number: JP2002087227A
Authority: JP
Inventors: 浩司福田; 淳彦石原; 浩一坂本; 和彦竹村; 学兵藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2001-08-24
Filing date: 2002-03-26
Publication date: 2008-05-21
Anticipated expiration: 2022-03-26
Also published as: JP2003143524A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、画像処理装置、撮像方法、画像処理方法、画像処理システム、及びプログラムに関する。特に本発明は、撮像画像に関するタグ情報を画像データとともに画像処理装置に送信する撮像装置、撮像方法、及びプログラムと、撮像装置から受け取ったタグ情報に基づいて画像データを処理する画像処理装置、画像処理方法、画像処理システム、及びプログラムに関する。
【０００２】
【従来の技術】
カメラには、マクロ撮影モード、ポートレート撮影モード、風景撮影モード等の複数の撮影モードが予め設定されている場合がある。ユーザは、撮影時に所望する撮影モードを選択することにより、ユーザの作画意図に適した撮影効果を得ることができる。また、撮影した画像は、例えばプリンタ等で撮影後に画像の補正を行うことにより、所望する画像に変換することができる。特に、特開平６−２５３１４７号公報では、フィルム上の画像を、露光レベル、撮像倍率、光源、合焦精度等のデータを用いて画質を補正する装置が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、ユーザが所定の撮影モードを選択し、被写体を撮影した場合であっても、被写体までの距離や周囲の光量等の撮影環境により、十分な撮影効果が得られない場合があった。また、従来のカメラやプリンタ等は、画像を自動補整する場合に適切な補正レベルが判断できず、ユーザが所望する仕上がりの画像を出力することができない場合があった。
【０００４】
【発明が解決しようとする課題】
そこで本発明は、上記の課題を解決することのできる撮像装置、画像処理装置、撮像方法、画像処理方法、画像処理システム、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、撮像時にストロボ光を発光する撮像装置であって、被写体を撮像する撮像部と、撮像部が被写体を撮像するときの被写体情報を取得する被写体情報取得部と、被写体情報に基づいて、ストロボ光を発光させるか否かを判断する判断部と、ストロボ光を発光させるか否か示すストロボ指示をユーザから受け取る操作部と、操作部が受け取ったストロボ指示と、判断部が被写体情報に基づいて判断した判断情報とを、撮像部が撮像した画像データに対応付けて格納する撮像画像格納部とを備える。
【０００６】
本発明の第２の形態によると、被写体を撮像する撮像装置であって、当該撮像装置が被写体を撮像するときにストロボ光を発光するストロボと、ストロボがストロボ光を発光した状態で、被写体を撮像する撮像部と、ストロボがストロボ光を発光していない状態における被写体の明るさを示す第１の明るさ情報を取得する第１の明るさ情報取得部と、第１の明るさ情報取得部が取得した第１の明るさ情報を、撮像部が撮像した本画像データに対応付けて格納する撮像画像格納部とを備える。
【０００７】
ストロボがストロボ光を発光した状態における被写体の明るさを示す第２の明るさ情報を取得する第２の明るさ情報取得部をさらに備え、撮像画像格納部は、第２の明るさ情報取得部が取得した第２の明るさ情報を、画像データに対応付けて格納してもよい。
【０００８】
撮像部は、ストロボがストロボ光を発光していない状態で、被写体を撮像し、第１の明るさ情報取得部は、撮像部が撮像した予備画像データから、第１の明るさ情報を取得してもよい。
【０００９】
第２の明るさ情報取得部は、本画像データから、第２の明るさ情報を取得してもよい。当該撮像装置から被写体までの距離を示す距離情報を取得する距離情報取得部をさらに備え、撮像画像格納部は、距離情報を本画像データに対応付けて格納してもよい。
【００１０】
本発明の第３の形態によると、被写体を撮像する撮像装置は、被写体の予備画像データを撮像し、予備画像データに基づいて決定される被写体情報で被写体の本画像データを撮像する撮像部と、予備画像データ及び本画像データに基づいて、本画像データを補正する場合の補正条件を決定する補正条件決定部とを備える。
【００１１】
補正条件及び補正された本画像データを互いに関連づけて格納する格納部と、格納部に格納された、補正条件及び本画像データを互いに関連付けて送信する送信部とを更に備えてもよい。補正条件決定部は、本画像データを撮像したときの被写体と撮像装置との距離を示す情報に更に基づいて、補正条件を決定してもよい。
【００１２】
本画像データを複数の領域に分割する分割部を更に備え、補正条件決定部は、予備画像データ及び本画像データに基づいて、領域毎に、補正条件を決定してもよい。
【００１３】
分割部は、本画像データの輝度分布に基づいて、本画像データを複数の領域に分割してもよい。
【００１４】
分割部は、本画像データの色度分布に基づいて、本画像データを複数の領域に分割してもよい。
【００１５】
予備画像データにおける、肌色の画素が所定値以上の割合を占める第１の肌色領域と、本画像データにおける、肌色の画素が所定値以上の割合を占める第２の肌色領域とを抽出する肌色抽出部を更に備え、補正条件決定部は、第１の肌色領域の輝度、撮像条件、及び第２の肌色領域の輝度に基づいて、補正条件を決定してもよい。
【００１６】
予備画像データにおける、肌色の画素が所定値以上の割合を占める第１の肌色領域と、本画像データにおける、肌色の画素が所定値以上の割合を占める第２の肌色領域とを抽出する肌色抽出部を更に備え、補正条件決定部は、第１の肌色領域の色度、撮像条件、及び第２の肌色領域の色度に基づいて、補正条件を決定してもよい。
【００１７】
本発明の第４の形態によると、画像データを処理する画像処理装置であって、本画像データが撮像されたときにストロボ光を発光したか否かを示すストロボ発光情報を、本画像データとともに受け取る受信部と、受信部が受け取ったストロボ発光情報に基づいて、本画像データを補正する補正部とを備える。
【００１８】
ストロボ発光情報は、手動でストロボを発光したか否かを示してもよい。補正部は、ストロボ発光情報が、ストロボ光を発光した旨を示す場合に、本画像データを補正してもよい。補正部は、ストロボ発光情報が、ストロボ光を発光していない旨を示す場合に、本画像データを補正しなくてもよい。
【００１９】
受信部は、本画像データを撮像した撮像装置が、自動でストロボ光を発光すべきか否かを判断した判断情報をさらに受け取り、補正部は、判断情報と、ストロボ発光情報とに基づいて、本画像データを補正してもよい。補正部は、判断情報とストロボ情報とが矛盾する情報である場合に、本画像データの補正を行わなくてもよい。
【００２０】
受信部は、本画像データの被写体が、ストロボ光を発光していない状態で撮像された予備画像データに基づく予備画像データ情報をさらに受け取り、補正部は、予備画像データ情報に基づいて、本画像データを補正してもよい。
【００２１】
予備画像データ情報は、予備画像データの明るさを示す情報であってもよい。予備画像データ情報は、予備画像データであってもよい。予備画像データの明るさを測定する測定部をさらに備え、補正部は、測定部が測定した明るさに基づいて、本画像データを補正してもよい。
【００２２】
受信部は、本画像データを撮像した撮像装置と、本画像データの被写体との距離を示す距離情報をさらに受け取り、補正部は、距離情報に基づいて、本画像データを補正してもよい。
【００２３】
本画像データの被写体が、人物を含む場合に、本画像データから人物の顔領域を抽出する顔抽出部をさらに備え、顔抽出部が抽出した顔領域に基づいて、本画像データを補正してもよい。補正部が補正した本画像データを印刷する印刷部をさらに備えてもよい。
【００２４】
本発明の第５の形態によると、画像データを処理する画像処理装置は、予備画像データ、及び予備画像データに基づく撮像条件によって撮像された本画像データを取得する取得部と、予備画像データ及び本画像データに基づいて、本画像データを補正する補正部とを備える。また、本画像データを複数の領域に分割する分割部を更に備え、補正部は、当該領域毎に本画像を補正してもよい。また、取得部は、本画像を撮像したときの被写体までの距離を示す情報を更に取得してもよく、補正部は、当該距離を示す情報に更に基づいて本画像データを補正してもよい。
【００２５】
予備画像データにおける、肌色の画素が所定値以上の割合を占める第１の肌色領域、及び本画像データにおける、肌色の画素が所定値以上の割合を占める第２の肌色領域を抽出する肌色抽出部を更に備えてもよく、補正部は、第１の肌色領域の輝度、及び第２の肌色領域の輝度に基づいて、本画像データの輝度を補正してもよい。
【００２６】
予備画像データにおける、肌色の画素が所定値以上の割合を占める第１の肌色領域、及び本画像データにおける、肌色の画素が所定値以上の割合を占める第２の肌色領域を抽出する肌色抽出部を更に備えてもよく、補正部は、第１の肌色領域の色度、及び第２の肌色領域の色度に基づいて、本画像データの色度を補正してもよい。
【００２７】
本発明の第６の形態によると、画像データを処理する画像処理システムであって、被写体を撮像する撮像装置と、撮像装置から画像データを受け取る画像処理装置とを備え、撮像装置は、被写体を撮像する撮像部と、撮像部が被写体を撮像するときに、ストロボ光を発光するストロボと、ストロボがストロボ光を発光したか否かを示すストロボ発光情報を、撮像部が撮像した画像データに対応付けて格納する撮像画像格納部と、画像データと、ストロボ発光情報とを対応付けて画像処理装置に送信する送信部とを有し、画像処理装置は、ストロボ発光情報と、画像データとを撮像装置から受け取る受信部と、受信部が受け取ったストロボ発光情報に基づいて、画像データを補正する補正部とを有する。ストロボ発光情報は、手動でストロボを発光したか否かを示してもよい。
【００２８】
本発明の第７の形態によると、撮像時にストロボ光を発光する撮像方法であって、被写体を撮像して、被写体を撮像するときの被写体情報を取得し、被写体情報に基づいて、ストロボ光を発光させるか否かを判断して、ストロボ光を発光させるか否か示すストロボ指示をユーザから受け取り、受け取ったストロボ指示と、被写体情報に基づいて判断した判断情報とを、撮像した画像データに対応付けて管理する。
【００２９】
本発明の第８の形態によると、被写体を撮像する撮像方法であって、被写体を撮像するときにストロボ光を発光して、ストロボ光を発光した状態で、被写体を撮像し、ストロボ光を発光していない状態における被写体の明るさを示す第１の明るさ情報を取得して、取得した第１の明るさ情報を、撮像した本画像データに対応付けて管理する。
【００３０】
本発明の第９の形態によると、被写体を撮像する撮像方法は、被写体の予備画像データを撮像するステップと、予備画像データに基づいて決定される撮像条件によって被写体の本画像データを撮像するステップと、予備画像データ及び本画像データに基づいて、本画像データを補正する場合の補正条件を決定するステップとを備える。
【００３１】
本発明の第１０の形態によると、画像データを処理する画像処理方法であって、本画像データが撮像されたときにストロボ光を発光したか否かを示すストロボ発光情報を、本画像データとともに受け取って、受け取ったストロボ発光情報に基づいて、本画像データを補正する。
【００３２】
本発明の第１１の形態によると、画像データを処理する画像処理方法は、予備画像データ、及び前記予備画像データに基づく撮像条件によって撮像された本画像データを受け取るステップと、本画像データを複数の領域に分割するステップと、予備画像データ及び本画像データに基づいて、領域毎に、本画像データを補正するステップとを備える。
【００３３】
本発明の第１２の形態によると、撮像時にストロボ光を発光する撮像装置用のプログラムであって、撮像装置が被写体を撮像するときの被写体情報を取得させる被写体情報取得モジュールと、被写体情報に基づいて、ストロボ光を発光させるか否かを判断させる判断モジュールと、ストロボ光を発光させるか否か示すストロボ指示をユーザから受け取らせる操作モジュールと、受け取らせたストロボ指示と、被写体情報に基づいて判断させた判断情報とを、撮像装置が撮像した画像データに対応付けて管理する管理モジュールとを備える。
【００３４】
本発明の第１３の形態によると、被写体を撮像する撮像装置用のプログラムであって、撮像装置がストロボ光を発光していない状態における被写体の明るさを示す第１の明るさ情報を取得させる第１の明るさ情報取得モジュールと、取得させた第１の明るさ情報を、撮像装置が撮像した本画像データに対応付けて管理する管理モジュールとを備える。
【００３５】
本発明の第１４の形態によると、被写体を撮像する撮像装置用のプログラムは、撮像装置に、被写体の予備画像データを撮像させ、予備画像データに基づいて決定させる撮像条件によって被写体の本画像データを撮像させる撮像モジュールと、予備画像データ及び本画像データに基づいて、本画像データを補正する場合の補正条件を決定させる補正条件決定モジュールとを備える。
【００３６】
本発明の第１５の形態によると、画像データを処理する画像処理装置用のプログラムであって、本画像データが撮像されたときにストロボ光を発光したか否かを示すストロボ発光情報を、本画像データとともに受け取らせる受信モジュールと、受け取らせたストロボ発光情報に基づいて、本画像データを補正させる補正モジュールとを備える。
【００３７】
本発明の第１６の形態によると、画像データを処理する画像処理装置用のプログラムは、画像処理装置に、予備画像データ、及び予備画像データに基づく撮像条件によって撮像された本画像データを受け取らせる取得モジュールと、本画像データを複数の領域に分割させる分割モジュールと、予備画像データ及び本画像データに基づいて、本画像データを領域毎に補正させる補正モジュールとを備える。
【００３８】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００３９】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、発明の実施の形態に記載の「ストロボ指示」及び「判断情報」は、特許請求の範囲に記載の「ストロボ発光情報」の一例である。また発明の実施の形態に記載の「距離情報」、及び「画像データの明るさ」は、特許請求の範囲に記載の「画像データ情報」の一例である。また、発明の実施の形態に記載の「通信Ｉ／Ｆ部」は、特許請求の範囲に記載の「送信部」の一例である。また、発明の実施の形態に記載の「不揮発性メモリ」及び「メインメモリ」は、特許請求の範囲に記載の「格納部」の一例である。
【００４０】
図１は、本発明の一実施形態に係る画像処理システム全体の概略を示す。画像処理システムは、デジタルカメラ１０と、プリンタ２００と、パーソナルコンピュータ９００とを備える。デジタルカメラ１０、プリンタ２００、およびパーソナルコンピュータ９００は、互いにデータ伝送路を介してデータの送受信を行う。
【００４１】
デジタルカメラ１０は、撮像時にストロボ光を発光させたか否かを示すストロボ発光情報を、撮像した画像データに対応付けて、プリンタ２００に送信する。プリンタ２００は、デジタルカメラ１０から受信したストロボ発光情報に基づいて、画像データを補正する。
【００４２】
データ伝送路は、例えば、ＵＳＢ等の有線ケーブルやブルートゥース等の無線チャネル等である。データ伝送路は、有線ケーブルや無線チャネル等を複数用いたネットワーク網（例えば、インターネット網）であってもよい。本図では、上記のようなデータ伝送路を用いてデータのやり取りを行う形態を例示しているが、デジタルカメラ１０、プリンタ２００、およびパーソナルコンピュータ９００間のデータのやり取りは、リムーバブルメディア等の記録媒体を用いてもよい。
【００４３】
デジタルカメラ１０は、被写体の画像を撮像し、撮像した画像データをプリンタ２００またはパーソナルコンピュータ９００に送信する。プリンタ２００またはパーソナルコンピュータ９００は、受信した画像データに所定の処理を施して出力する。すなわち、プリンタ２００は、画像データを印刷して出力し、パーソナルコンピュータ９００は、画像データをモニタに出力する。また、パーソナルコンピュータ９００は、デジタルカメラ１０またはプリンタ２００に設定情報を送信し、プリンタ２００の設定情報を変更する。なお、デジタルカメラ１０は、本発明に係る撮像装置の一例であり、プリンタ２００およびパーソナルコンピュータ９００は、本発明に係る画像処理装置の一例である。
【００４４】
図２は、本実施形態に係るデジタルカメラ１０の構成を示す。デジタルカメラ１０は、主に撮像部２０、撮像信号処理部３２、撮像制御部４０、処理部６０、表示部１００、および操作部１１０を含む。
【００４５】
撮像部２０は、撮影および結像に関する機構部材および電気部材を含む。撮像部２０はまず、映像を取り込んで処理を施す撮影レンズ２２、絞り２４、シャッタ２６、光学ＬＰＦ（ローパスフィルタ）２８、及びＣＣＤ３０を含む。撮影レンズ２２は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がＣＣＤ３０の受光面上に結像する。結像した被写体像の光量に応じ、ＣＣＤ３０の各センサエレメント（図示せず）に電荷が蓄積される（以下その電荷を「蓄積電荷」という）。蓄積電荷は、リードゲートパルスによってシフトレジスタ（図示せず）に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【００４６】
デジタルカメラ１０は一般に電子シャッタ機能を有するので、シャッタ２６のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、ＣＣＤ３０にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【００４７】
撮像信号処理部３２は、ＣＣＤ３０から出力される電圧信号、すなわちアナログ信号をＲ、Ｇ、Ｂ成分に色分解し、まずホワイトバランスを調整する。次に撮像信号処理部３２は、ガンマ補正を行い、必要なタイミングでＲ、Ｇ、Ｂ信号を順次Ａ／Ｄ変換し、その結果得られたデジタルの画像データ（以下単に「デジタル画像データ」とよぶ）を処理部６０へ出力する。
【００４８】
撮像部２０はさらに、ファインダ３４とストロボ３６を有する。ファインダ３４には図示しないＬＣＤを内装してもよく、その場合、後述のメインＣＰＵ６２等からの各種情報をファインダ３４内に表示できる。ストロボ３６は、コンデンサ（図示せず）に蓄えられたエネルギが放電管３６ａに供給されたときそれが発光することで機能する。
【００４９】
撮像制御部４０は、レンズ駆動部４２、フォーカス駆動部４４、絞り駆動部４６、シャッタ駆動部４８、それらを制御する撮像系ＣＰＵ５０、測距センサ５２、および測光センサ５４をもつ。レンズ駆動部４２などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ１１４の押下に応じ、測距センサ５２は被写体までの距離を測定し、測光センサ５４は被写体輝度を測定する。測定された距離のデータ（以下単に「測距データ」という）および被写体輝度のデータ（以下単に「測光データ」という）は撮像系ＣＰＵ５０へ送られる。撮像系ＣＰＵ５０は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部４２とフォーカス駆動部４４を制御して撮影レンズ２２のズーム倍率とピントの調整を行う。
【００５０】
撮像系ＣＰＵ５０は、１画像フレームのＲＧＢのデジタル信号積算値、すなわちＡＥ情報に基づいて絞り値とシャッタスピードを決定する。決定された値にしたがい、絞り駆動部４６とシャッタ駆動部４８がそれぞれ絞り量の調整とシャッタ２６の開閉を行う。
【００５１】
撮像系ＣＰＵ５０はまた、測光データに基づいてストロボ３６の発光を制御し、同時に絞り２４の絞り量を調整する。ユーザが映像の取込を指示したとき、ＣＣＤ３０が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部３２へ出力される。
【００５２】
処理部６０は、デジタルカメラ１０全体、とくに処理部６０自身を制御するメインＣＰＵ６２と、これによって制御されるメモリ制御部６４、ＹＣ処理部７０、オプション装置制御部７４、圧縮伸張処理部７８、通信Ｉ／Ｆ部８０を有する。メインＣＰＵ６２は、シリアル通信などにより、撮像系ＣＰＵ５０との間で必要な情報をやりとりする。メインＣＰＵ６２の動作クロックは、クロック発生器８８から与えられる。クロック発生器８８は、撮像系ＣＰＵ５０、表示部１００に対してもそれぞれ異なる周波数のクロックを提供する。
【００５３】
メインＣＰＵ６２には、キャラクタ生成部８４とタイマ８６が併設されている。タイマ８６は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインＣＰＵ６２に与えられる。キャラクタ生成部８４は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【００５４】
メモリ制御部６４は、不揮発性メモリ６６とメインメモリ６８を制御する。不揮発性メモリ６６は、ＥＥＰＲＯＭ（電気的消去およびプログラム可能なＲＯＭ）やＦＬＡＳＨメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ１０の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ６６には、場合によりメインＣＰＵ６２のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ６８は一般にＤＲＡＭのように比較的安価で容量の大きなメモリで構成される。メインメモリ６８は、撮像部２０から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ６６とメインメモリ６８は、処理部６０内外の各部とメインバス８２を介してデータのやりとりを行う。
【００５５】
ＹＣ処理部７０は、デジタル画像データにＹＣ変換を施し、輝度信号Ｙと色差（クロマ）信号Ｂ−Ｙ、Ｒ−Ｙを生成する。輝度信号と色差信号はメモリ制御部６４によってメインメモリ６８に一旦格納される。圧縮伸張処理部７８はメインメモリ６８から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ（以下単に「圧縮データ」という）は、オプション装置制御部７４を介してオプション装置７６の一種であるメモリカードへ書き込まれる。
【００５６】
処理部６０はさらにエンコーダ７２をもつ。エンコーダ７２は輝度信号と色差信号を受信し、これらをビデオ信号（ＮＴＳＣやＰＡＬ信号）に変換してビデオ出力端子９０から出力する。オプション装置７６に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部７４を介して圧縮伸張処理部７８へ与えられる。つづいて、圧縮伸張処理部７８で必要な伸張処理が施されたデータはエンコーダ７２によってビデオ信号へ変換される。
【００５７】
オプション装置制御部７４は、オプション装置７６に認められる信号仕様およびメインバス８２のバス仕様にしたがい、メインバス８２とオプション装置７６の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ１０は、オプション装置７６として前述のメモリカードのほかに、例えばＰＣＭＣＩＡ準拠の標準的なＩ／Ｏカードをサポートしてもよい。その場合、オプション装置制御部７４は、ＰＣＭＣＩＡ用バス制御ＬＳＩなどで構成してもよい。
【００５８】
通信Ｉ／Ｆ部８０は、デジタルカメラ１０がサポートする通信仕様、たとえばＵＳＢ、ＲＳ−２３２Ｃなどの仕様に応じたプロトコル変換等の制御を行う。通信Ｉ／Ｆ部８０は、必要に応じてドライバＩＣを含み、ネットワークを含む外部機器とコネクタ９２を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のＩ／Ｆによるデータ授受を行う構成としてもよい。
【００５９】
表示部１００は、ＬＣＤモニタ１０２とＬＣＤパネル１０４を有する。それらはＬＣＤドライバであるモニタドライバ１０６、パネルドライバ１０８によってそれぞれ制御される。ＬＣＤモニタ１０２は、例えば２インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。ＬＣＤパネル１０４は例えば小さな白黒ＬＣＤでカメラ上面に設けられ、画質（ＦＩＮＥ／ＮＯＲＭＡＬ／ＢＡＳＩＣなど）、ストロボ発光／発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【００６０】
操作部１１０は、ユーザがデジタルカメラ１０の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ１１２は、デジタルカメラ１０の電源のオンオフを決める。レリーズスイッチ１１４は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでＡＦおよびＡＥがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ６８、オプション装置７６等に記録される。操作部１１０はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図２において機能設定部１１６と総称されている。操作部１１０で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定／保存」、「表示切換」等がある。ズームスイッチ１１８は、ズーム倍率を決める。
【００６１】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ１０のパワースイッチ１１２がオンされ、カメラ各部に電力が供給される。メインＣＰＵ６２は、機能設定部１１６の状態を読み込むことで、デジタルカメラ１０が撮影モードにあるか再生モードにあるかを判断する。
【００６２】
カメラが撮影モードにあるとき、メインＣＰＵ６２はレリーズスイッチ１１４の半押し状態を監視する。半押し状態が検出されたとき、メインＣＰＵ６２は測光センサ５４および測距センサ５２からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御部４０が動作し、撮影レンズ２２のピント、絞りなどの調整が行われる。調整が完了すると、ＬＣＤモニタ１０２に「スタンバイ」などの文字を表示してユーザにその旨を伝え、つづいてレリーズスイッチ１１４の全押し状態を監視する。
【００６３】
レリーズスイッチ１１４が全押しされると、所定のシャッタ時間をおいてシャッタ２６が閉じられ、ＣＣＤ３０の蓄積電荷が撮像信号処理部３２へ掃き出される。撮像信号処理部３２による処理の結果生成されたデジタル画像データはメインバス８２へ出力される。デジタル画像データは一旦メインメモリ６８へ格納され、この後ＹＣ処理部７０と圧縮伸張処理部７８で処理を受け、オプション装置制御部７４を経由してオプション装置７６へ記録される。記録された画像は、フリーズされた状態でしばらくＬＣＤモニタ１０２に表示され、ユーザは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【００６４】
一方、デジタルカメラ１０が再生モードの場合、メインＣＰＵ６２は、メモリ制御部６４を介してメインメモリ６８から最後に撮影した画像を読み出し、これを表示部１００のＬＣＤモニタ１０２へ表示する。
【００６５】
この状態でユーザが機能設定部１１６にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、ＬＣＤモニタ１０２へ表示される。
【００６６】
図３は、本実施形態の第１実施例に係るデジタルカメラ１０の特徴的な機能構成を示すブロック図である。図３に示すデジタルカメラ１０の動作は一例として、図２で説明したメインＣＰＵ６２と、メインメモリ６８や不揮発性メモリ６６に格納またはロードされたプログラムの連携によって実現することができる。メインＣＰＵ６２が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。
【００６７】
撮像系ＣＰＵ５０は、判断部５００と、被写体情報取得部５０２と、ストロボ制御部５０４と、距離情報取得部５０６とを有する。撮像信号処理部３２は、撮像画像格納部３２０と、第１の明るさ情報取得部３２２と、第２の明るさ情報取得部３２４とを有する。送信部３２６の機能は、処理部６０が有する。撮像画像格納部３２０は、ストロボを発光していない状態で撮像された撮像画像である予備画像データと、被写体からデジタルカメラ１０までの距離を示す距離情報と、デジタルカメラ１０が判断したストロボを発光させるか否かを示す判断情報と、ストロボを発光させるか否かのユーザからの指示であるストロボ指示とを、ストロボを発光した状態の撮像画像である本画像データに対応付けて格納する。
【００６８】
被写体情報取得部５０２は、レリーズスイッチ１１４が半押し状態である旨を示す半押し情報を、メインＣＰＵ６２から受け取ると、撮像部２０から被写体情報を取得する。被写体情報は、被写体の明るさを示す明るさ情報と、デジタルカメラ１０から被写体までの距離を示す距離情報とを含む。明るさ情報は、例えば画像データの明度を示す情報である。被写体情報取得部５０２は、取得した被写体情報のうち、距離情報を距離情報取得部５０６に送る。距離情報取得部５０６は、受け取った距離情報を撮像画像格納部３２０に格納する。
【００６９】
また被写体情報取得部５０２は、被写体情報のうち、被写体の明るさを示す情報を判断部５００に送る。判断部５００は、受け取った明るさの情報に基づいて、ストロボ光を発光させるか否かを判断し、判断情報として、ストロボ制御部５０４に送る。操作部１１０は、ストロボ光を発光させるか否かを示すストロボ指示をユーザから受け取り、ストロボ制御部５０４に送る。
【００７０】
ストロボ制御部５０４は、ストロボ指示を操作部１１０から受け取った場合に、ストロボ指示に基づいて、ストロボを発光させるか否かを示すストロボ発光情報を撮像部２０に送る。一方ストロボ制御部５０４は、ストロボ指示を操作部１１０から受け取らなかった場合に、判断情報に基づいて、ストロボを発光させるか否かを示すストロボ発光情報を撮像部２０に送る。またストロボ制御部５０４は、判断情報及びストロボ指示を撮像画像格納部３２０に格納する。
【００７１】
第１の明るさ情報取得部３２２は、レリーズスイッチ１１４が半押し状態である旨を示す半押し情報を、メインＣＰＵ６２から受け取ると、ストロボ光を発光していない状態における被写体の予備画像データを撮像部２０から受け取り、明るさ情報として、撮像画像格納部３２０に格納する。第２の明るさ情報取得部３２４は、レリーズスイッチ１１４が全押し状態である旨を示す全押し情報を、メインＣＰＵ６２から受け取ると、ストロボ光を発光した状態における被写体の本画像データを撮像部２０から受け取り、撮像画像格納部３２０に格納する。
【００７２】
送信部３２６は、撮像画像格納部３２０に格納されている本画像データと、予備画像データと、距離情報と、ストロボ指示と、判断情報とをプリンタ２００に送信する。
【００７３】
図４は、本実施例に係るプリンタ２００の機能構成を示すブロック図である。プリンタ２００は、受信部２０２と、印刷部２０４と、補正部２０６と、顔抽出部２０８と、タグ解析部２１０と、測定部２１２と、距離情報取得部２１４とを有する。
【００７４】
受信部２０２は、本画像データと、予備画像データと、距離情報と、ストロボ指示と、判断情報とをデジタルカメラ１０から受信する。受信部２０２は、受信した予備画像データと、距離情報と、ストロボ指示と、判断情報とをタグ解析部２１０に送る。また受信部２０２は、本画像データを顔抽出部２０８と、補正部２０６に送る。
【００７５】
タグ解析部２１０は、ストロボ指示の内容と判断情報の内容とが一致するか否かを判断する。次にタグ解析部２１０は、ストロボ指示の内容と判断情報の内容とが一致する場合に、受信部２０２から受け取った予備画像データを測定部２１２に送り、距離情報を距離情報取得部２１４に送る。
【００７６】
測定部２１２は、タグ解析部２１０から受け取った予備画像データの明るさを測定し、第２の明るさ情報として、補正部２０６に送る。距離情報取得部２１４は、タグ解析部２１０から受け取った距離情報を補正部２０６に送る。
【００７７】
顔抽出部２０８は、受信部２０２から受け取った本画像データにおいて、被写体の人物の顔領域を抽出し、抽出した顔領域の画像データを補正部２０６に送る。
【００７８】
補正部２０６は、距離情報取得部２１４から受け取った距離情報と、測定部２１２から受け取った第２の明るさ情報と、顔抽出部２０８から受け取った顔領域の画像データとに基づいて、受信部２０２から受け取った本画像データを補正し、印刷部２０４に送る。印刷部２０４は、補正部２０６から受け取った本画像データを印刷する。
【００７９】
図５は、本実施例に係るデジタルカメラ１０の動作を示すフローチャートである。被写体情報取得部５０２は、レリーズスイッチ１１４が半押し状態である旨を示す半押し情報を受け取ると（Ｓ１００）、被写体情報を取得する（Ｓ１０２）。判断部５００は、被写体情報に基づいてストロボ光を発光させるか否かを判断する（Ｓ１０３）。
【００８０】
ストロボ制御部５０４は、操作部１１０がユーザからストロボ指示を受け取った場合に、ストロボ指示に基づいてストロボ光を発光させるか否かを決定する。一方、ストロボ制御部５０４は、操作部１１０がユーザからストロボ指示を受け取らなかった場合に、判断部５００が判断した判断情報に基づいてストロボ光を発光させるか否かを決定する（Ｓ１０４）。
【００８１】
ストロボ制御部５０４は、ストロボ光を発光させると決定した場合に、ストロボ３６にストロボ光を発光させる旨を指示する（Ｓ１０６）。次に撮像部２０は、ストロボ光を発光させない状態での被写体を撮像する（Ｓ１０８）。
【００８２】
次に距離情報取得部５０６は、デジタルカメラ１０から被写体までの距離を示す距離情報を取得する（Ｓ１１０）。レリーズスイッチ１１４が全押し状態である場合に（Ｓ１１２）、撮像部２０は、被写体を撮像する（Ｓ１１４）。第２の明るさ情報取得部３２４は、距離情報取得部５０６が取得した距離情報と、操作部１１０がユーザから受け取ったストロボ指示と、判断部５００が判断した判断情報と、Ｓ１０８において撮像された予備画像データとをタグ情報として、Ｓ１１４において撮像された本画像データに対応付けて撮像画像格納部３２０に格納する（Ｓ１１６）。
【００８３】
本実施例において第１の明るさ情報取得部３２２は、ストロボ光を発光させない状態で撮像された予備画像データを撮像画像格納部３２０に格納しているが、これに代えて予備画像データから被写体の明るさを測定し、測定した明るさを示す第１の明るさ情報を撮像画像格納部３２０に格納してもよい。
【００８４】
また第２の明るさ情報取得部３２４は、ストロボ光を発光させた状態で撮像された本画像データのみを撮像画像格納部３２０に格納しているが、これに代えて、本画像データからストロボ光を発光させた状態の被写体の明るさを測定し、測定した明るさを示す第２の明るさ情報を本画像データに対応付けてさらに撮像画像格納部３２０に格納してもよい。
【００８５】
図６は、本実施例におけるプリンタ２００の動作を示すフローチャートである。受信部２０２は、本画像データのタグ情報である予備画像データと、距離情報と、ストロボ指示と、判断情報とを、本画像データとともにデジタルカメラ１０から受信する（Ｓ２００）。
【００８６】
ストロボ指示と判断情報との双方が、ストロボ光を発光すべき旨を示す情報であるとタグ解析部２１０が判断した場合に（Ｓ２０２）、測定部２１２は、受信部２０２が受信した予備画像データの明るさを測定する（Ｓ２０４）。ここで予備画像データの明るさとは、被写体周辺の明るさであり、例えば、画像データのＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）各色のレベルや、ＥＶ値（ＥｘｐｏｓｕｒｅＶａｌｕｅ、露光指数）によって示される。
【００８７】
次に距離情報取得部２１４は、デジタルカメラ１０から被写体までの距離を示す距離情報を取得する（Ｓ２０６）。ここで距離情報取得部２１４は、本画像データに対応したタグ情報のうち、距離情報を選択し、補正部２０６が利用可能に情報を加工してもよい。
【００８８】
次に顔抽出部２０８は、受信部２０２が受信した本画像データから被写体の人物の顔領域を抽出する（Ｓ２０８）。ここで本画像データから顔領域を抽出する具体的な方法としては、例えば特開平８−１２２９４４号公報、または特開平５−１００３２８号公報に記載された方法を用いることができる。
【００８９】
特開平８−１２２９４４号公報に記載された方法は、本画像データを複数領域に分割し、非人物領域を除外した後に人物の頭部の輪郭を表す形状パターンを検出し、検出したパターンに応じて顔候補領域を検出し、さらに人物の顔の輪郭を表す形状パターン、顔の内部構造を表す形状パターン及び人物の胴体の輪郭を表す形状パターンをそれぞれ検出し、検出したパターンにより顔候補領域の整合性を判定し、人物の顔に相当する領域である確度が最も高い領域を判定することにより、顔領域を抽出するものである。
【００９０】
特開平５−１００３２８号公報に記載された方法は、画像を複数領域に分割して測光し、測光により得られたデータを色相及び彩度に変換し、これらの２次元ヒストグラムを作成するとともに、このヒストグラムを単峰の山毎に分解し、さらに画像の角画素がいずれの山に属するかを判断して画素を分割された山に対応する群に分解し、各群毎に画像を分割して顔候補領域を抽出し、抽出した領域の画像サイズと主要画像サイズ情報から得られる画像サイズとを比較して最も一致する領域を顔領域として抽出するものである。
【００９１】
次に補正部２０６は、受信部２０２が受信した本画像データの明るさを測定する。補正部２０６は、例えば‘Ｙ’が明るさを示す情報とすると、各ＲＧＢチャンネルを用いて、
【００９２】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
（０＜Ｒ、Ｇ、Ｂ＜２５５、２５５；白色）
として、全画素積算積算してもよいし、画像データを複数の領域に分割して、中央部に重みを付ける等、加重平均して、明るさを測定してもよい。
【００９３】
次に補正部２０６は、測定した本画像データの明るさと、顔抽出部２０８が抽出した顔領域の画像と、距離情報取得部２１４が取得した距離情報と、測定部２１２が測定した予備画像データの明るさとに基づいて、本画像データを補正する（Ｓ２１２）。
【００９４】
例えば補正部２０６は、予備画像データの明るさが所定値以下の暗いシーンを示し、かつ本画像データの明るさが所定値以下の、ストロボ光が十分に照射されていない程度を示す場合に、被写体の輪郭が明確になり、明るくなりすぎない程度に本画像データを補正する。また補正部２０６は、例えば顔抽出部２０８が抽出した顔領域の画像の色度が、適切な顔の色度になるように本画像データを補正する。このように補正部２０６は、本画像データの顔領域の画像の色度や、予備画像データの明るさに応じて、本画像データの明るさを適切に補正することができる。
【００９５】
また補正部２０６は、距離情報を用いて本画像データを補正することができる。デジタルカメラ１０がストロボ光を発光させて被写体を撮像した場合、デジタルカメラ１０から被写体までの距離によって、被写体に照射される発光量が異なる。そこで補正部２０６は、距離情報取得部２１４が取得した距離情報を用いて被写体に発光される発光量を推定し、推定した発光量に基づいて、本画像データを補正する。
【００９６】
印刷部２０４は、補正部２０６が補正した本画像データを印刷する（Ｓ２１４）。Ｓ２０２において、ストロボ指示と判断情報のいずれか一方が、ストロボ光を発光しない旨を示す情報であるとタグ解析部２１０が判断した場合に、本画像データを補正することなく、Ｓ２１４にジャンプする。
【００９７】
判断情報がストロボ光を発光すべきではない旨を示し、ストロボ指示がストロボ光を発光すべきである旨を示す場合には、例えば被写体が明るい状態であるにも関わらず、ユーザが任意にストロボ光を発光させるので、本画像データの明るさは、非常に高い値になる。補正部２０６は、明るさが非常に高い値である場合に、本画像データを適度な明るさに補正することができる。しかしタグ解析部２１０は、判断情報がストロボ光を発光すべきではない旨を示し、ストロボ指示がストロボ光を発光すべきである旨を示す場合には、ユーザが任意にストロボ光を発光させているので、本画像データの補正を補正部２０６に禁止することができる。
【００９８】
本実施例のデジタルカメラ１０は、ストロボを発光させない状態で撮像された本画像データにタグ情報を付与していないが、他の例としては、これに代えてストロボを発光させない状態で撮像された本画像データにタグ情報を付与報告してもよい。ここでタグ情報は、判断部５００が判断した判断情報と、ストロボ指示とを含む。デジタルカメラ１０は、タグ情報と本画像データとをプリンタ２００に送る。プリンタ２００は、受け取ったタグ情報に基づいて本画像データを補正する。
【００９９】
例えば、判断情報がストロボ光を発光させるべきである旨を示し、ストロボ指示がストロボ光を発光させるべきではない旨を示す場合、被写体の明るさは、所定値以下の明るさで暗い状態であるにも関わらず、ユーザはストロボ光を発光させたくない状態、即ち暗い画像を所望している可能性が高い。そこでプリンタ２００は、本画像データを明るくする補正を禁止することができる。このようにプリンタ２００は、ストロボ光を発光していない状態で撮像された本画像データの補正を、本画像データに対応したタグ情報に基づいて、補正することができる。
【０１００】
図７は、本実施形態の第２実施例に係るデジタルカメラ１０の特徴的な機能構成を示すブロック図である。デジタルカメラ１０は、画像を撮像する撮像部２０、撮像部２０の動作を制御する撮像系ＣＰＵ５０、画像を分割する分割部６００、画像から肌色の領域を抽出する肌色抽出部６０２、画像を補整する場合の補正条件を決定する補正条件決定部６０４、決定された補正条件に基づいて画像を補整する補正部６０６、画像を格納する格納部６０８、及び画像をプリンタ２００又はパーソナルコンピュータ９００に送信する送信部３２６を有する。
【０１０１】
撮像部２０は、被写体の予備画像データを撮像し、予備画像データに基づいて決定される撮像条件によって被写体の本画像データを撮像する。具体的には、撮像部２０は、レリーズスイッチ１１４の半押し等のユーザの操作に基づいて、被写体の予備画像を撮像する。撮像系ＣＰＵ５０は、撮像部２０が取得した予備画像を解析して、被写体の明るさや色等の被写体情報を取得する。撮像系ＣＰＵ５０は、図２で説明した測距センサ５２から、被写体情報のうちの被写体の距離を更に取得してもよい。
【０１０２】
そして、撮像系ＣＰＵ５０は、被写体の明るさ、色、距離等の被写体情報に基づいて、撮像部２０が被写体の本画像を撮像する場合に最適と判断する撮像条件を決定する。撮像条件は、例えば、シャッタースピード、絞り値、図２で説明したストロボ３６の発光の有無、ストロボ３６を発光させる場合の発光強度、及びホワイトバランス等である。
【０１０３】
続いてレリーズスイッチ１１４の全押しなどのユーザの操作が行われると、撮像部２０は、撮像系ＣＰＵ５０が決定した撮像条件によって被写体の本画像データを撮像する。具体的には、撮像部２０は、撮像系ＣＰＵ５０が決定した発光条件によってストロボ３６を発光させ、撮像系ＣＰＵ５０が決定したシャッタースピード及び絞り値で図２で説明したＣＣＤ３０を露光し、撮像系ＣＰＵ５０が決定したホワイトバランスで撮像信号を処理する。
【０１０４】
分割部６００は、本画像データを複数の領域に分割する。具体的には、分割部６００は、予め定められたパターンで本画像を複数の領域に分割する。例えば、分割部６００は、所定のピッチでグリッド状に本画像を分割してもよいし、画像の中心からの距離に応じて同心円状に本画像を分割してもよい。
【０１０５】
分割部６００は、本画像データの輝度分布に基づいて、本画像データを複数の領域に分割してもよい。例えば、分割部６００は、予め定められた基準値よりも高い平均輝度を持つ領域と、基準値よりも低い平均輝度を持つ領域とに本画像データを分割してもよい。
【０１０６】
分割部６００は、本画像データの色度分布に基づいて、本画像データを複数の領域に分割してもよい。例えば、分割部６００は、ＲＧＢの色バランスが予め定められた基準を満たしているか否かに基づいて、本画像データを複数の領域に分割してもよい。あるいは、分割部６００は、本画像データをＲ（Ｒｅｄ）のレベルが基準値よりも高い領域、Ｇ（Ｇｒｅｅｎ）のレベルが基準値よりも高い領域、及びＢ（Ｂｌｕｅ）のレベルが基準値よりも高い領域等に分割してもよい。
【０１０７】
分割部６００は、被写体の距離に基づいて、本画像データを複数の領域に分割してもよい。例えば、分割部６００は、所定値よりも距離が遠い被写体の領域と、所定値よりも距離が近い被写体の領域とに本画像データを分割してもよい。
【０１０８】
肌色抽出部６０２は、予備画像データにおける、肌色の画素が所定値以上の割合を占める第１の肌色領域と、本画像データにおける、肌色の画素が所定値以上の割合を占める第２の肌色領域とを抽出する。
【０１０９】
補正条件決定部６０４は、予備画像データ及び本画像データに基づいて、本画像データを補正する場合の補正条件を決定する。補正条件決定部６０４は、予備画像データ及び本画像データに基づいて、分割部６００が複数の領域に分割した本画像データのそれぞれの領域毎に、補正条件を決定してもよい。具体的には、補正条件決定部６０４は、予備画像データと本画像データとを比較して、本画像データの画質が予備画像データの画質よりも所定以上改善しているか否かを、領域毎に判断する。そして、補正条件決定部６０４は、本画像データにおいて、予備画像と比較した場合の画質の改善が不十分な領域の画像データを補正する場合の補正値を決定する。
【０１１０】
例えば、補正条件決定部６０４は、所定値よりも低い予備画像データの輝度に対して、ストロボ３６を発光して取得された本画像データの輝度が所定値以上高いか否かを領域毎に判断する。そして、本画像データの輝度が予備画像データの輝度よりも所定値以上高くない領域があれば、補正条件決定部６０４は、当該領域の輝度が予備画像データの輝度よりも所定値以上高くなるべく、本画像データの輝度を補正する補正値を決定する。
【０１１１】
補正条件決定部６０４は、本画像データを撮像するときの撮像条件に更に基づいて、本画像データを補正する場合の補正条件を決定してもよい。具体的には、補正条件決定部６０４は、撮像系ＣＰＵ５０が、予備画像に基づいて最適化した撮像条件によって達成できると判断した画質を、本画像データが満たしているか否かを判断する。そして、補正条件決定部６０４は、撮像系ＣＰＵ５０が達成できると判断した画質を満たすべく、本画像データを補正する場合の補正値を決定してもよい。
【０１１２】
補正条件決定部６０４は、本画像データが撮像されたときのデジタルカメラ１０から被写体までの距離に更に基づいて、本画像データを補正する場合の補正値を決定してもよい。例えば、デジタルカメラ１０から被写体までの距離が所定値より近い場合、補正条件決定部６０４は、当該距離が所定値より遠い場合よりも本画像データの輝度を高く補正する補正値を決定してもよい。これにより、補正条件決定部６０４は、被写体までの距離に応じて、ストロボ発光の効果を適正化する補正値を決定することができる。また、デジタルカメラ１０から被写体までの距離が所定値より近い場合、補正条件決定部６０４は、当該距離が所定値より遠い場合よりも、本画像データのカラーバランスにおける青の割合が強くなるような補正値を決定してもよい。これにより、補正条件決定部６０４は、電球の明かりや夕方の太陽光等よりも色温度が高いストロボ３６の光が、本画像データのカラーバランスに与える影響を適切に補正することができる。
【０１１３】
補正条件決定部６０４は、第１の肌色領域の輝度、及び第２の肌色領域の輝度に基づいて、本画像データを補正する場合の補正条件を決定してもよい。具体的には、補正条件決定部６０４は、撮像した予備画像データ及び本画像データからそれぞれ抽出した第１及び第２の肌色領域の輝度の差が、撮像系ＣＰＵ５０が撮像条件を決定したときに想定した第１及び第２の輝度の差と比較して、所定の誤差内で収まっているかを判断する。そして、撮像した予備画像データ及び本画像データからそれぞれ抽出した第１及び第２の肌色領域の輝度の差が、撮像系ＣＰＵ５０が想定した輝度の差と比較して所定の誤差内で収まっていない場合、補正条件決定部６０４は、第１及び第２の肌色領域の輝度の差が、撮像系ＣＰＵ５０が想定した輝度の差と比較して所定の誤差内に収まるように、本画像データの輝度を補正する場合の補正条件を決定する。
【０１１４】
補正条件決定部６０４は、第１の肌色領域の色度、及び第２の肌色領域の色度に基づいて、本画像データを補正する場合の補正条件を決定してもよい。具体的には、補正条件決定部６０４は、撮像系ＣＰＵ５０が第１の肌色領域の色度に基づいて調節したホワイトバランスを第２の肌色領域の色度が反映しているか否かを判断する。そして、第２の肌色領域の色度が、第１の肌色領域の色度に基づいて調節されたホワイトバランスを反映していない場合、補正条件決定部６０４は、第２の肌色領域の色度が第１の肌色領域の色度に基づいて調節されたホワイトバランスを反映するべく本画像データの色度を補正する場合の補正条件を決定する。
【０１１５】
補正部６０６は、補正条件決定部６０４が決定した補正条件に従って、本画像データを補正する。補正部６０６は、分割部６００が分割した複数の領域のそれぞれを、補正条件決定部６０４が決定した補正条件に基づいて補正する。また、補正部６０６は、本画像データにおける肌色領域の画像データを、補正条件決定部６０４が決定した補正条件に基づいて補正する。
【０１１６】
格納部６０８は、補正部６０６が補正した本画像データを格納する。送信部３２６は、格納部６０８が格納した本画像データをプリンタ２００又はパーソナルコンピュータ９００に送信する。
【０１１７】
デジタルカメラ１０は、補正部６０６を有しなくてもよい。この場合、格納部６０８は、補正条件決定部６０４が決定した補正条件と、本画像データとを互いに関連づけて格納する。そして、送信部３２６は、格納部６０８が格納した補正条件及び本画像データを、互いに関連づけてプリンタ２００又はパーソナルコンピュータ９００に送信する。
【０１１８】
また、デジタルカメラ１０は、分割部６００、肌色抽出部６０２、補正条件決定部６０４、及び補正部６０６を有しなくてもよい。この場合、格納部６０８は、撮像部２０が取得した予備画像データ及び本画像データを互いに関連づけて格納する。そして、送信部３２６は、格納部６０８が格納した予備画像データ及び本画像データを、互いに関連づけてプリンタ２００又は、パーソナルコンピュータ９００に送信する。
【０１１９】
図８は、本実施例に係るプリンタ２００及びパーソナルコンピュータ９００の特徴的な機能構成を示すブロック図である。プリンタ２００及びパーソナルコンピュータ９００は、画像を取得する取得部２２０、画像を分割する分割部２２２、画像から肌色の領域を抽出する肌色抽出部２２４、画像を補整する補正部２２６、及び画像を出力する出力部２２８を有する。
【０１２０】
取得部２２０は、デジタルカメラ１０から、互いに関連づけられた予備画像データ、及び予備画像データに基づく撮像条件によって撮像された本画像データを取得する。取得部２２０は、デジタルカメラ１０から、予備画像データを撮像したときの被写体の距離を示す情報を更に関連づけて取得してもよいし、予備画像に基づいて決定された、本画像データを撮像したときの撮像条件を更に関連づけて取得してもよい。
【０１２１】
分割部２２２は、本画像データを複数の領域に分割する。肌色抽出部２２４は、予備画像データにおける、肌色の画素が所定値以上の割合を占める第１の肌色領域と、本画像データにおける、肌色の画素が所定値以上の割合を占める第２の肌色領域とを抽出する。分割部２２２が本画像データを分割する動作、及び肌色抽出部２２４が第１の肌色領域及び第２の肌色領域を抽出する動作は、図７において説明した、デジタルカメラ１０が有する分割部６００及び肌色抽出部６０２の動作とそれぞれ同様なので省略する。
【０１２２】
補正部２２５は、予備画像データ及び本画像データに基づいて、本画像データを補正する。補正部２２６は、予備画像データ及び本画像データに基づいて、分割部２２２が分割した領域毎に、本画像データを補正してもよい。また、補正部２２６は、第１の肌色領域の輝度、第２の肌色領域の輝度、及び撮像条件に基づいて、本画像データの輝度を補正してもよい。また、補正部２２６は、第１の肌色領域の色度、第２の肌色領域の色度、及び撮像条件に基づいて、本画像データの色度を補正してもよい。補正部２２６の動作は、図７において説明した、デジタルカメラ１０が有する補正条件決定部６０４及び補正部６０６の動作を合わせたものであるので省略する。
【０１２３】
出力部２２８は、補正部２２６が補正した本画像データを出力する。すなわち、プリンタ２００は、本画像データを印刷し、パーソナルコンピュータ９００は、本画像データをモニタに表示する。
【０１２４】
以上説明したように、本実施例のデジタルカメラ１０、プリンタ２００、及びパーソナルコンピュータ９００によれば、撮像条件を調節する前に撮像した予備画像データと、撮像条件を調節した後に撮像した本画像データとに基づいて本画像データを補正するので、被写体の状態を反映した精度の高い補正を本画像データに施すことができる。
【０１２５】
図９は、本実施例に係るデジタルカメラ１０の動作を示すフローチャートである。デジタルカメラ１０は、レリーズスイッチの半押しなどのユーザの操作を検出すると、測距センサ５２は被写体までの距離を測定し、測光センサは、被写体の明るさを取得し、撮像部２０は、被写体の予備画像を撮像する（Ｓ３００）。次に、撮像系ＣＰＵ５０は、被写体の明るさ、色、距離等の被写体情報に基づいて、撮像部２０が被写体の本画像を撮像する場合に最適と判断する撮像条件を決定する（Ｓ３０４）。撮像条件は、例えば、シャッタースピード、絞り値、図２で説明したストロボ３６の発光の有無、ストロボ３６を発光させる場合の発光強度、及びホワイトバランス等である。
【０１２６】
続いてレリーズスイッチ１１４の全押しなどのユーザの操作が行われると、撮像部２０は、撮像系ＣＰＵ５０が決定した撮像条件によって被写体の本画像データを撮
像する（Ｓ３０６）。次に、分割部６００は、本画像データの輝度分布に基づいて、本画像データを複数の領域に分割する（Ｓ３０８）。
【０１２７】
補正条件決定部６０４は、予備画像データ及び本画像データを比較して、本画像データが所定の条件を満たしているか否かを判断し、所定の条件を満たしていない領域の画像データを補正する場合の補正条件を領域毎に決定する（Ｓ３１４）。本画像データを補正する場合の補正条件を分割部６００が分割した領域毎に決定する（Ｓ３１４）。
【０１２８】
補正部６０６は、補正条件決定部６０４が決定した補正条件に従って、本画像データを補正する（Ｓ３１６）。補正部６０６は、分割部６００が分割した複数の領域のそれぞれを、補正条件決定部６０４が決定した補正条件に基づいて補正する。
【０１２９】
格納部６０８は、補正部６０６が補正した本画像データを格納する（Ｓ３１８）。送信部３２６は、格納部６０８が格納した本画像データをプリンタ２００又はパーソナルコンピュータ９００に送信する（Ｓ３２２）。以上で本フローは終了する。
【０１３０】
図１０は、本実施例に係るプリンタ２００及びパーソナルコンピュータ９００の動作を示すフローチャートである。取得部２２０は、デジタルカメラ１０から、本画像データ及び予備画像データを取得する（Ｓ４００）。次に、分割部２２２は、本画像データの輝度分布に基づいて、本画像データを複数の領域に分割する（Ｓ４０２）。次に、補正部２２６は、分割部２２２が複数の領域に分割した本画像データを、本画像データ及び予備画像データに基づいて領域毎に補正する（Ｓ４０４）。次に、出力部２２８は、補正された本画像データを出力する（Ｓ４０６）。すなわち、プリンタ２００は、本画像データを印刷し、パーソナルコンピュータ９００は、本画像データをモニタに表示する。以上で本フローは終了する。
【０１３１】
図１１は、本実施形態に係るパーソナルコンピュータ９００のハードウェア構成を示す。パーソナルコンピュータ２００は、ＣＰＵ７００と、ＲＯＭ７０２と、ＲＡＭ７０４と、通信インタフェース７０６と、ハードディスクドライブ７１０と、フレキシブルディスクドライブ７１２と、ＣＤ−ＲＯＭドライブ７１６とを備える。ＣＰＵ７００は、ＲＯＭ７０２及びＲＡＭ７０４に格納されたプログラムに基づいて動作し、各部の制御を行う。通信インタフェース７０６は、デジタルカメラ１０及びプリンタ１２と通信する。
【０１３２】
フレキシブルディスクドライブ７１２は、フレキシブルディスク７１４からデータ又はプログラムを読み取り通信インタフェース７０６に提供する。ＣＤ−ＲＯＭドライブ７１６は、ＣＤ−ＲＯＭ７１８からデータ又はプログラムを読み取り通信インタフェース７０６に提供する。通信インタフェース７０６は、フレキシブルディスクドライブ７１２又はＣＤ−ＲＯＭドライブ７１６から提供されたデータ又はプログラムを、デジタルカメラ１０又はプリンタ２００に送信する。
【０１３３】
プリンタ２００に提供されるプログラムは、フレキシブルディスク７１４又はＣＤ−ＲＯＭ７１８等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは記録媒体から読み出され、通信インタフェース７０６を介して、デジタルカメラ１０又はプリンタ２００にインストールされ、デジタルカメラ１０又はプリンタ２００において実行される。
【０１３４】
記録媒体に格納されて提供され、デジタルカメラ１０にインストールされるプログラムは、機能構成として、被写体情報取得モジュールと、判断モジュールと、操作モジュールと、管理モジュールと、第１の明るさ情報取得モジュールと、撮像モジュールと、分割モジュールと、肌色抽出モジュールと、補正条件決定モジュールと、補正モジュールと、格納モジュールと、送信モジュールとを有する。各モジュールがデジタルカメラ１０に働きかけて行わせる動作は、図１から図９において説明したデジタルカメラ１０における、対応する部材の動作と同一であるから、説明を省略する。
【０１３５】
また、記録媒体に格納されて提供され、プリンタ２００にインストールされるプログラムは、機能構成として、受信モジュールと、取得モジュールと、補正モジュールと、分割モジュールと、肌色抽出モジュールと、出力モジュールとを有する。各モジュールがプリンタ１２に働きかけて行わせる動作は、図１から図１０において説明したプリンタ２００における、対応する部材の動作と同一であるから、説明を省略する。
【０１３６】
図１１に示した、記録媒体の一例としてのフレキシブルディスク７１４又はＣＤ−ＲＯＭ７１８には、本出願で説明した実施形態におけるデジタルカメラ１０又はプリンタ２００の動作の一部又は全ての機能を格納することができる。
【０１３７】
これらのプログラムは記録媒体から直接デジタルカメラ１０又はプリンタ２００によって読み出されて実行されても、デジタルカメラ１０又はプリンタ２００にインストールされた後にデジタルカメラ１０又はプリンタ２００において実行されてもよい。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されてもよい。又、符号化した形態で格納されていてもよい。
【０１３８】
記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭの他にも、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスク又はＲＡＭ等の格納装置を記録媒体として使用し、通信網を介してプログラムをデジタルカメラ１０又はプリンタ２００に提供してもよい。このような記録媒体は、デジタルカメラ１０又はプリンタ２００を製造するためのみに使用されるものであり、そのような記録媒体の業としての製造及び販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【０１３９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１４０】
【発明の効果】
上記説明から明らかなように、本発明によればストロボ光の発光状態に応じて画像データを処理することができる。また、予備画像データ及び本画像データに基づいて、本画像データを精度よく補正することができる。
【図面の簡単な説明】
【図１】本実施形態に係る画像処理システムの概略を示す図である。
【図２】本実施形態に係るデジタルカメラ１０の構成を示す図である。
【図３】本実施形態の第１実施例に係るデジタルカメラ１０の特徴的な機能構成を示すブロック図である。
【図４】第１実施例に係るプリンタ２００の特徴的な機能構成を示すブロック図である。
【図５】第１実施例に係るデジタルカメラ１０の動作を示すフローチャートである。
【図６】第１実施例に係るプリンタ２００の動作を示すフローチャートである。
【図７】本実施形態の第２実施例に係るデジタルカメラ１０の特徴的な機能構成を示すブロック図である。
【図８】第２実施例に係るプリンタ２００の特徴的な機能構成を示すブロック図である。
【図９】第２実施例に係るデジタルカメラ１０の動作を示すフローチャートである。
【図１０】第２実施例に係るプリンタ２００の動作を示すフローチャートである。
【図１１】本実施形態に係るパーソナルコンピュータ９００のハードウェア構成を示す図である。
【符号の説明】
１０デジタルカメラ２０撮像部
３２撮像信号処理部４０撮像制御部
５０撮像系ＣＰＵ６０処理部
６２メインＣＰＵ１００表示部
１１０操作部２００プリンタ
２０２受信部２０４印刷部
２０６補正部２０８顔抽出部
２１０タグ解析部２１２測定部
２１４距離情報取得部２２０取得部
２２２分割部２２４肌色抽出部
２２６補正部２２８出力部
３２０撮像画像格納部３２２第１の明るさ情報取得部
３２４第２の明るさ情報取得部３２６送信部
５００判断部５０２被写体情報取得部
５０４ストロボ制御部５０６距離情報取得部
６００分割部６０２肌色抽出部
６０４補正条件決定部６０６補正部
６０８格納部７００ＣＰＵ
７０２ＲＯＭ７０４ＲＡＭ
７０６通信インタフェース７１０ハードディスクドライブ
７１２フレキシブルディスクドライブ７１６ＣＤ−ＲＯＭドライブ
９００パーソナルコンピュータ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device, an image processing device, an imaging method, an image processing method, an image processing system, and a program. In particular, the present invention relates to an imaging apparatus, an imaging method, and a program that transmit tag information about a captured image together with image data to an image processing apparatus, an image processing apparatus that processes image data based on tag information received from the imaging apparatus, and an image The present invention relates to a processing method, an image processing system, and a program.
[0002]
[Prior art]
A camera may have a plurality of shooting modes set in advance, such as a macro shooting mode, a portrait shooting mode, and a landscape shooting mode. The user can obtain a shooting effect suitable for the user's intention to draw by selecting a desired shooting mode at the time of shooting. Further, the photographed image can be converted into a desired image by correcting the image after photographing with a printer or the like, for example. In particular, Japanese Patent Laid-Open No. 6-253147 discloses an apparatus for correcting the image quality of an image on a film using data such as an exposure level, an imaging magnification, a light source, and focusing accuracy.
[0003]
[Problems to be solved by the invention]
However, even when the user selects a predetermined shooting mode and shoots the subject, there may be a case where a sufficient shooting effect cannot be obtained depending on the shooting environment such as the distance to the subject and the amount of ambient light. Also, conventional cameras, printers, and the like cannot determine an appropriate correction level when automatically correcting an image, and may not be able to output an image with a finish desired by a user.
[0004]
[Problems to be solved by the invention]
Accordingly, an object of the present invention is to provide an imaging apparatus, an image processing apparatus, an imaging method, an image processing method, an image processing system, and a program that can solve the above-described problems. This object is achieved by a combination of features described in the independent claims. The dependent claims define further advantageous specific examples of the present invention.
[0005]
[Means for Solving the Problems]
That is, according to the first aspect of the present invention, an imaging apparatus that emits strobe light during imaging, an imaging unit that captures a subject, and subject information acquisition that acquires subject information when the imaging unit captures the subject A determination unit that determines whether or not to emit strobe light based on subject information, an operation unit that receives a strobe instruction indicating whether or not to emit strobe light from a user, and a strobe instruction received by the operation unit And a captured image storage unit that stores determination information determined by the determination unit based on subject information in association with image data captured by the imaging unit.
[0006]
According to a second aspect of the present invention, there is provided an imaging device that captures an image of a subject, the strobe that emits strobe light when the imaging device images the subject, and the subject in a state in which the strobe emits strobe light. An imaging unit for imaging, a first brightness information acquisition unit for acquiring first brightness information indicating the brightness of the subject in a state where the strobe is not emitting strobe light, and a first brightness information acquisition unit Includes a captured image storage unit that stores the first brightness information acquired in association with the main image data captured by the imaging unit.
[0007]
The apparatus further includes a second brightness information acquisition unit that acquires second brightness information indicating the brightness of the subject in a state where the strobe emits strobe light, and the captured image storage unit includes the second brightness information acquisition unit. The second brightness information acquired by may be stored in association with the image data.
[0008]
The imaging unit images a subject in a state where the strobe is not emitting strobe light, and the first brightness information acquisition unit acquires first brightness information from the preliminary image data captured by the imaging unit. May be.
[0009]
The second brightness information acquisition unit may acquire the second brightness information from the main image data. A distance information acquisition unit that acquires distance information indicating the distance from the imaging device to the subject may be further included, and the captured image storage unit may store the distance information in association with the main image data.
[0010]
According to the third aspect of the present invention, an imaging device that captures an image of a subject captures preliminary image data of the subject, and captures the main image data of the subject with subject information determined based on the preliminary image data. A correction condition determining unit that determines correction conditions for correcting the main image data based on the preliminary image data and the main image data.
[0011]
A storage unit that stores the correction condition and the corrected main image data in association with each other, and a transmission unit that stores the correction condition and the main image data in association with each other may be further provided. The correction condition determination unit may determine the correction condition further based on information indicating a distance between the subject and the imaging device when the main image data is captured.
[0012]
The image forming apparatus may further include a dividing unit that divides the main image data into a plurality of regions, and the correction condition determining unit may determine the correction conditions for each region based on the preliminary image data and the main image data.
[0013]
The dividing unit may divide the main image data into a plurality of regions based on the luminance distribution of the main image data.
[0014]
The dividing unit may divide the main image data into a plurality of regions based on the chromaticity distribution of the main image data.
[0015]
Skin color extraction for extracting the first skin color area in which the skin color pixels occupy a predetermined value or more in the preliminary image data and the second skin color area in which the skin color pixels occupy the predetermined value or more in the main image data The correction condition determination unit may determine the correction condition based on the brightness of the first skin color area, the imaging condition, and the brightness of the second skin color area.
[0016]
Skin color extraction for extracting the first skin color area in which the skin color pixels occupy a predetermined value or more in the preliminary image data and the second skin color area in which the skin color pixels occupy the predetermined value or more in the main image data The correction condition determination unit may determine the correction condition based on the chromaticity of the first skin color area, the imaging condition, and the chromaticity of the second skin color area.
[0017]
According to a fourth aspect of the present invention, there is provided an image processing apparatus for processing image data, wherein strobe light emission information indicating whether or not strobe light has been emitted when the main image data is captured is displayed together with the main image data. A receiving unit that receives the image data and a correction unit that corrects the main image data based on the strobe light emission information received by the receiving unit.
[0018]
The strobe light emission information may indicate whether or not the strobe light is manually emitted. The correction unit may correct the main image data when the strobe light emission information indicates that the strobe light is emitted. The correction unit does not have to correct the main image data when the strobe light emission information indicates that the strobe light is not emitted.
[0019]
The receiving unit further receives determination information for determining whether or not the imaging device that has captured the main image data should automatically emit strobe light, and the correction unit is configured to perform main information based on the determination information and the strobe light emission information. Image data may be corrected. The correction unit may not correct the main image data when the determination information and the strobe information are contradictory information.
[0020]
The reception unit further receives preliminary image data information based on preliminary image data captured in a state where the subject of the main image data is not emitting strobe light, and the correction unit receives the main image based on the preliminary image data information. Data may be corrected.
[0021]
The preliminary image data information may be information indicating the brightness of the preliminary image data. The preliminary image data information may be preliminary image data. A measurement unit that measures the brightness of the preliminary image data may be further provided, and the correction unit may correct the main image data based on the brightness measured by the measurement unit.
[0022]
The receiving unit may further receive distance information indicating a distance between the imaging device that captured the main image data and a subject of the main image data, and the correction unit may correct the main image data based on the distance information.
[0023]
When the subject of the main image data includes a person, the image processing apparatus further includes a face extraction unit that extracts a human face area from the main image data, and corrects the main image data based on the face area extracted by the face extraction unit. Also good. You may further provide the printing part which prints this image data which the correction | amendment part correct | amended.
[0024]
According to the fifth aspect of the present invention, an image processing apparatus that processes image data includes: preliminary image data; an acquisition unit that acquires main image data captured according to an imaging condition based on the preliminary image data; A correction unit that corrects the main image data based on the main image data. The image processing apparatus may further include a dividing unit that divides the main image data into a plurality of regions, and the correction unit may correct the main image for each region. The acquisition unit may further acquire information indicating a distance to the subject when the main image is captured, and the correction unit may correct the main image data based on the information indicating the distance. .
[0025]
A skin color extraction unit that extracts a first skin color area in which the skin color pixels occupy a predetermined value or more in the preliminary image data and a second skin color area in which the skin color pixels occupy a predetermined value or more in the main image data. The correction unit may correct the brightness of the main image data based on the brightness of the first skin color area and the brightness of the second skin color area.
[0026]
A skin color extraction unit that extracts a first skin color area in which the skin color pixels occupy a predetermined value or more in the preliminary image data and a second skin color area in which the skin color pixels occupy a predetermined value or more in the main image data. The correction unit may correct the chromaticity of the main image data based on the chromaticity of the first skin color area and the chromaticity of the second skin color area.
[0027]
According to a sixth aspect of the present invention, there is provided an image processing system for processing image data, comprising: an imaging device that images a subject; and an image processing device that receives image data from the imaging device. Corresponding to the image data captured by the imaging unit, the imaging unit that captures the image, the strobe that emits the strobe light when the imaging unit images the subject, and the strobe emission information that indicates whether the strobe emitted the strobe light A captured image storage unit that stores the image data, and a transmission unit that associates the image data with the flash emission information and transmits the information to the image processing apparatus. The image processing apparatus captures the flash emission information and the image data. A reception unit received from the apparatus, and a correction unit that corrects image data based on the strobe light emission information received by the reception unit. The strobe light emission information may indicate whether or not the strobe light is manually emitted.
[0028]
According to a seventh aspect of the present invention, there is provided an imaging method for emitting strobe light at the time of imaging, capturing a subject, obtaining subject information when the subject is imaged, and emitting strobe light based on the subject information. Judgment is made on whether to emit light, a strobe instruction indicating whether to emit strobe light is received from the user, and the received strobe instruction and judgment information determined based on subject information are associated with the captured image data Manage it.
[0029]
According to an eighth aspect of the present invention, there is provided an imaging method for imaging a subject, which emits strobe light when imaging the subject, images the subject in a state where the strobe light is emitted, and emits strobe light. First brightness information indicating the brightness of the subject in a state in which the subject is not captured is acquired, and the acquired first brightness information is managed in association with the captured main image data.
[0030]
According to the ninth aspect of the present invention, an imaging method for imaging a subject includes the steps of imaging preliminary image data of the subject, and imaging the main image data of the subject according to an imaging condition determined based on the preliminary image data. And determining a correction condition for correcting the main image data based on the preliminary image data and the main image data.
[0031]
According to a tenth aspect of the present invention, there is provided an image processing method for processing image data, wherein strobe light emission information indicating whether or not strobe light has been emitted when the main image data is imaged together with the main image data. The received image data is corrected based on the received flash emission information.
[0032]
According to an eleventh aspect of the present invention, an image processing method for processing image data includes a step of receiving preliminary image data and main image data imaged under an imaging condition based on the preliminary image data, and a plurality of main image data. And a step of correcting the main image data for each region based on the preliminary image data and the main image data.
[0033]
According to a twelfth aspect of the present invention, there is provided a program for an imaging device that emits strobe light during imaging, a subject information acquisition module that acquires subject information when the imaging device images a subject, and the subject information A determination module that determines whether or not to emit strobe light, an operation module that receives a strobe instruction indicating whether or not to emit strobe light from a user, a strobe instruction received, and determination based on subject information And a management module that manages the determined determination information in association with image data captured by the imaging apparatus.
[0034]
According to a thirteenth aspect of the present invention, there is provided a program for an imaging device that captures an image of a subject, wherein first brightness information indicating the brightness of the subject in a state where the imaging device is not emitting strobe light is acquired. A first brightness information acquisition module; and a management module that manages the acquired first brightness information in association with main image data captured by the imaging apparatus.
[0035]
According to the fourteenth aspect of the present invention, a program for an imaging device that captures an image of a subject causes the imaging device to capture preliminary image data of the subject, and the main image data of the subject according to an imaging condition that is determined based on the preliminary image data. And a correction condition determination module for determining a correction condition for correcting the main image data based on the preliminary image data and the main image data.
[0036]
According to a fifteenth aspect of the present invention, there is provided a program for an image processing apparatus for processing image data, wherein strobe light emission information indicating whether or not strobe light is emitted when the main image data is captured is A receiving module that receives the image data together with the image data and a correction module that corrects the main image data based on the received strobe light emission information.
[0037]
According to the sixteenth aspect of the present invention, a program for an image processing apparatus that processes image data causes the image processing apparatus to receive preliminary image data and main image data imaged under an imaging condition based on the preliminary image data. An acquisition module, a division module that divides main image data into a plurality of areas, and a correction module that corrects main image data for each area based on preliminary image data and main image data.
[0038]
The above summary of the invention does not enumerate all the necessary features of the present invention, and sub-combinations of these feature groups can also be the invention.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described through embodiments of the invention. However, the following embodiments do not limit the claimed invention, and all combinations of features described in the embodiments are the solution of the invention. It is not always essential to the means. The “strobe instruction” and the “determination information” described in the embodiment of the invention are examples of “strobe light emission information” described in the claims. Further, “distance information” and “brightness of image data” described in the embodiments of the present invention are examples of “image data information” described in the claims. Further, the “communication I / F unit” described in the embodiment of the invention is an example of the “transmission unit” described in the claims. The “nonvolatile memory” and the “main memory” described in the embodiments of the invention are examples of the “storage unit” described in the claims.
[0040]
FIG. 1 shows an outline of an entire image processing system according to an embodiment of the present invention. The image processing system includes a digital camera 10, a printer 200, and a personal computer 900. The digital camera 10, the printer 200, and the personal computer 900 exchange data with each other via a data transmission path.
[0041]
The digital camera 10 transmits strobe light emission information indicating whether or not strobe light is emitted at the time of imaging to the printer 200 in association with the captured image data. The printer 200 corrects the image data based on the strobe light emission information received from the digital camera 10.
[0042]
The data transmission path is, for example, a wired cable such as USB or a wireless channel such as Bluetooth. The data transmission path may be a network network (for example, the Internet network) using a plurality of wired cables, wireless channels, and the like. In this figure, a mode of exchanging data using the data transmission path as described above is illustrated, but data exchange between the digital camera 10, the printer 200, and the personal computer 900 is performed by recording on a removable medium or the like. A medium may be used.
[0043]
The digital camera 10 captures an image of a subject and transmits the captured image data to the printer 200 or the personal computer 900. The printer 200 or the personal computer 900 performs predetermined processing on the received image data and outputs it. That is, the printer 200 prints and outputs image data, and the personal computer 900 outputs the image data to a monitor. Further, the personal computer 900 transmits setting information to the digital camera 10 or the printer 200 and changes the setting information of the printer 200. The digital camera 10 is an example of an imaging apparatus according to the present invention, and the printer 200 and the personal computer 900 are examples of an image processing apparatus according to the present invention.
[0044]
FIG. 2 shows a configuration of the digital camera 10 according to the present embodiment. The digital camera 10 mainly includes an imaging unit 20, an imaging signal processing unit 32, an imaging control unit 40, a processing unit 60, a display unit 100, and an operation unit 110.
[0045]
The imaging unit 20 includes a mechanism member and an electrical member related to shooting and imaging. The imaging unit 20 first includes a photographic lens 22 that captures and processes an image, a diaphragm 24, a shutter 26, an optical LPF (low-pass filter) 28, and a CCD 30. The photographing lens 22 includes a focus lens, a zoom lens, and the like. With this configuration, a subject image is formed on the light receiving surface of the CCD 30. Charges are accumulated in each sensor element (not shown) of the CCD 30 in accordance with the amount of light of the formed subject image (hereinafter, the charges are referred to as “accumulated charges”). The accumulated charge is read to a shift register (not shown) by a read gate pulse, and sequentially read as a voltage signal by a register transfer pulse.
[0046]
Since the digital camera 10 generally has an electronic shutter function, a mechanical shutter such as the shutter 26 is not essential. In order to realize the electronic shutter function, the CCD 30 is provided with a shutter drain via a shutter gate. When the shutter gate is driven, the accumulated charge is swept out to the shutter drain. By controlling the shutter gate, the time for accumulating charges in each sensor element, that is, the shutter speed can be controlled.
[0047]
The imaging signal processing unit 32 color-separates a voltage signal output from the CCD 30, that is, an analog signal into R, G, and B components, and first adjusts white balance. Next, the imaging signal processing unit 32 performs gamma correction, sequentially A / D-converts the R, G, and B signals at a necessary timing, and obtains digital image data (hereinafter simply referred to as “digital image data”) as a result. Output) to the processing unit 60.
[0048]
The imaging unit 20 further includes a finder 34 and a strobe 36. The finder 34 may be equipped with an LCD (not shown). In this case, various information from the main CPU 62 and the like which will be described later can be displayed in the finder 34. The strobe 36 functions by emitting light when energy stored in a capacitor (not shown) is supplied to the discharge tube 36a.
[0049]
The imaging control unit 40 includes a lens driving unit 42, a focus driving unit 44, an aperture driving unit 46, a shutter driving unit 48, an imaging system CPU 50 that controls them, a distance measuring sensor 52, and a photometric sensor 54. Each of the driving units such as the lens driving unit 42 has driving means such as a stepping motor. In response to pressing of a release switch 114 described later, the distance measuring sensor 52 measures the distance to the subject, and the photometric sensor 54 measures the subject brightness. The measured distance data (hereinafter simply referred to as “distance data”) and subject luminance data (hereinafter simply referred to as “photometry data”) are sent to the imaging system CPU 50. The imaging system CPU 50 adjusts the zoom magnification and focus of the photographing lens 22 by controlling the lens driving unit 42 and the focus driving unit 44 based on photographing information such as a zoom magnification instructed by the user.
[0050]
The imaging system CPU 50 determines the aperture value and the shutter speed based on the RGB digital signal integrated value of one image frame, that is, the AE information. According to the determined value, the aperture driving unit 46 and the shutter driving unit 48 adjust the aperture amount and open / close the shutter 26, respectively.
[0051]
The imaging system CPU 50 also controls the light emission of the strobe 36 based on the photometric data and simultaneously adjusts the aperture amount of the aperture 24. When the user instructs to capture an image, the CCD 30 starts to accumulate charges, and the accumulated charges are output to the imaging signal processing unit 32 after the shutter time calculated from the photometric data has elapsed.
[0052]
The processing unit 60 includes a main CPU 62 that controls the entire digital camera 10, particularly the processing unit 60 itself, a memory control unit 64, a YC processing unit 70, an optional device control unit 74, a compression / decompression processing unit 78, and communication that are controlled thereby. An I / F unit 80 is included. The main CPU 62 exchanges necessary information with the imaging CPU 50 by serial communication or the like. The operation clock of the main CPU 62 is given from the clock generator 88. The clock generator 88 provides clocks with different frequencies to the imaging system CPU 50 and the display unit 100, respectively.
[0053]
The main CPU 62 is provided with a character generation unit 84 and a timer 86. The timer 86 is backed up by a battery and always counts the date and time. From this count value, information on the shooting date and time information and other time information are given to the main CPU 62. The character generation unit 84 generates character information such as a shooting date and time and a title, and the character information is appropriately combined with the shot image.
[0054]
The memory control unit 64 controls the nonvolatile memory 66 and the main memory 68. The non-volatile memory 66 includes an EEPROM (electrically erasable and programmable ROM), a FLASH memory, and the like, and should be retained even when the power of the digital camera 10 is turned off, such as setting information by a user and adjustment values at the time of shipment. Data is stored. In some cases, the non-volatile memory 66 may store a boot program or a system program for the main CPU 62. On the other hand, the main memory 68 is generally composed of a relatively inexpensive memory having a large capacity, such as a DRAM. The main memory 68 has a function as a frame memory for storing data output from the imaging unit 20, a function as a system memory for loading various programs, and other functions as a work area. The nonvolatile memory 66 and the main memory 68 exchange data with each unit inside and outside the processing unit 60 via the main bus 82.
[0055]
The YC processing unit 70 performs YC conversion on the digital image data, and generates a luminance signal Y and color difference (chroma) signals BY and RY. The luminance signal and the color difference signal are temporarily stored in the main memory 68 by the memory control unit 64. The compression / decompression processor 78 sequentially reads out the luminance signal and the color difference signal from the main memory 68 and compresses them. The data thus compressed (hereinafter simply referred to as “compressed data”) is written to a memory card which is a type of option device 76 via the option device control unit 74.
[0056]
The processing unit 60 further includes an encoder 72. The encoder 72 receives the luminance signal and the color difference signal, converts them into a video signal (NTSC or PAL signal), and outputs it from the video output terminal 90. When a video signal is generated from data recorded in the option device 76, the data is first supplied to the compression / decompression processing unit 78 via the option device control unit 74. Subsequently, the data that has undergone the necessary expansion processing in the compression / expansion processing unit 78 is converted into a video signal by the encoder 72.
[0057]
The option device control unit 74 performs necessary signal generation, logic conversion, voltage conversion, etc. between the main bus 82 and the option device 76 in accordance with the signal specifications recognized by the option device 76 and the bus specifications of the main bus 82. . The digital camera 10 may support a standard I / O card conforming to PCMCIA, for example, in addition to the memory card described above as the optional device 76. In this case, the option device control unit 74 may be configured by a PCMCIA bus control LSI or the like.
[0058]
The communication I / F unit 80 is a communication specification supported by the digital camera 10, for example, USB, RS-232. C Controls protocol conversion according to which specifications. The communication I / F unit 80 includes a driver IC as necessary, and communicates with an external device including a network via the connector 92. In addition to such standard specifications, a configuration may be adopted in which data is exchanged with an external device such as a printer, a karaoke machine, or a game machine using an original I / F.
[0059]
The display unit 100 includes an LCD monitor 102 and an LCD panel 104. They are controlled by a monitor driver 106 and a panel driver 108, which are LCD drivers. The LCD monitor 102 is provided on the back of the camera with a size of about 2 inches, for example, and the current shooting / playback mode, zoom magnification for shooting / playback, battery level, date / time, mode setting screen, subject image, etc. Is displayed. The LCD panel 104 is a small black-and-white LCD, for example, provided on the upper surface of the camera, and simply displays information such as image quality (FINE / NORMAL / BASIC, etc.), strobe light emission / flash prohibition, standard number of shoots, number of pixels, battery capacity, etc. .
[0060]
The operation unit 110 includes a mechanism and electrical members necessary for the user to set or instruct the operation of the digital camera 10 and its mode. The power switch 112 determines whether to turn on or off the power of the digital camera 10. The release switch 114 has a two-step pushing structure of half-pressing and full-pressing. As an example, AF and AE are locked when pressed halfway, and a captured image is captured when pressed fully, and is recorded in the main memory 68, optional device 76, etc. after necessary signal processing, data compression, and the like. In addition to these switches, the operation unit 110 may accept settings using a rotary mode dial, a cross key, and the like, which are collectively referred to as a function setting unit 116 in FIG. Examples of operations or functions that can be specified on the operation unit 110 include “file format”, “special effect”, “print”, “decision / save”, “display switching”, and the like. The zoom switch 118 determines the zoom magnification.
[0061]
The main operation of the above configuration is as follows. First, the power switch 112 of the digital camera 10 is turned on, and power is supplied to each part of the camera. The main CPU 62 reads the state of the function setting unit 116 to determine whether the digital camera 10 is in the shooting mode or the playback mode.
[0062]
When the camera is in the shooting mode, the main CPU 62 monitors the half-pressed state of the release switch 114. When the half-pressed state is detected, the main CPU 62 obtains photometry data and distance measurement data from the photometry sensor 54 and the distance measurement sensor 52, respectively. The imaging control unit 40 operates based on the obtained data, and adjustments such as focus and aperture of the taking lens 22 are performed. When the adjustment is completed, characters such as “Standby” are displayed on the LCD monitor 102 to notify the user of that, and then the release switch 114 is fully pressed.
[0063]
When the release switch 114 is fully pressed, the shutter 26 is closed after a predetermined shutter time, and the accumulated charge in the CCD 30 is swept out to the imaging signal processing unit 32. Digital image data generated as a result of processing by the imaging signal processing unit 32 is output to the main bus 82. The digital image data is temporarily stored in the main memory 68, then processed by the YC processing unit 70 and the compression / decompression processing unit 78, and recorded in the option device 76 via the option device control unit 74. The recorded image is displayed on the LCD monitor 102 in a frozen state for a while, and the user can know the captured image. This completes a series of shooting operations.
[0064]
On the other hand, when the digital camera 10 is in the playback mode, the main CPU 62 reads the last photographed image from the main memory 68 via the memory control unit 64 and displays it on the LCD monitor 102 of the display unit 100.
[0065]
In this state, when the user instructs “forward” or “reverse” on the function setting unit 116, images taken before and after the currently displayed image are read and displayed on the LCD monitor 102.
[0066]
FIG. 3 is a block diagram showing a characteristic functional configuration of the digital camera 10 according to the first example of the present embodiment. As an example, the operation of the digital camera 10 shown in FIG. 3 can be realized by cooperation between the main CPU 62 described in FIG. 2 and a program stored or loaded in the main memory 68 or the nonvolatile memory 66. When the main CPU 62 has a built-in memory, a necessary program may be stored in the memory and various functions may be realized as firmware.
[0067]
The imaging system CPU 50 includes a determination unit 500, a subject information acquisition unit 502, a strobe control unit 504, and a distance information acquisition unit 506. The imaging signal processing unit 32 includes a captured image storage unit 320, a first brightness information acquisition unit 322, and a second brightness information acquisition unit 324. The processing unit 60 has the function of the transmission unit 326. The captured image storage unit 320 emits preliminary image data which is a captured image captured in a state where the flash is not emitted, distance information indicating the distance from the subject to the digital camera 10, and the flash determined by the digital camera 10. The determination information indicating whether or not to emit light and the strobe instruction that is an instruction from the user as to whether or not to emit the strobe light are stored in association with main image data that is a captured image in a state in which the strobe light is emitted.
[0068]
When the subject information acquisition unit 502 receives from the main CPU 62 half-press information indicating that the release switch 114 is in a half-pressed state, the subject information acquisition unit 502 acquires subject information from the imaging unit 20. The subject information includes brightness information indicating the brightness of the subject and distance information indicating the distance from the digital camera 10 to the subject. The brightness information is information indicating the brightness of image data, for example. The subject information acquisition unit 502 sends the distance information among the acquired subject information to the distance information acquisition unit 506. The distance information acquisition unit 506 stores the received distance information in the captured image storage unit 320.
[0069]
The subject information acquisition unit 502 sends information indicating the brightness of the subject to the determination unit 500 among the subject information. The determination unit 500 determines whether or not to emit strobe light based on the received brightness information, and sends it to the strobe control unit 504 as determination information. The operation unit 110 receives a strobe instruction indicating whether to emit strobe light from the user, and sends it to the strobe control unit 504.
[0070]
When the strobe control unit 504 receives a strobe instruction from the operation unit 110, based on the strobe instruction, the strobe control unit 504 sends strobe emission information indicating whether or not to emit a strobe to the imaging unit 20. On the other hand, when the strobe control unit 504 does not receive a strobe instruction from the operation unit 110, the strobe control unit 504 sends strobe emission information indicating whether or not to emit the strobe to the imaging unit 20 based on the determination information. The strobe control unit 504 stores the determination information and the strobe instruction in the captured image storage unit 320.
[0071]
When the first brightness information acquisition unit 322 receives from the main CPU 62 half-press information indicating that the release switch 114 is half-pressed, the first brightness information acquisition unit 322 captures preliminary image data of the subject in a state in which the flash light is not emitted. Received from the unit 20 and stored in the captured image storage unit 320 as brightness information. When the second brightness information acquisition unit 324 receives full-press information indicating that the release switch 114 is in the full-press state from the main CPU 62, the second brightness information acquisition unit 324 captures the main image data of the subject in a state where the strobe light is emitted. And stored in the captured image storage unit 320.
[0072]
The transmission unit 326 transmits the main image data, the preliminary image data, the distance information, the strobe instruction, and the determination information stored in the captured image storage unit 320 to the printer 200.
[0073]
FIG. 4 is a block diagram illustrating a functional configuration of the printer 200 according to the present embodiment. The printer 200 includes a receiving unit 202, a printing unit 204, a correction unit 206, a face extraction unit 208, a tag analysis unit 210, a measurement unit 212, and a distance information acquisition unit 214.
[0074]
The receiving unit 202 receives main image data, preliminary image data, distance information, strobe instructions, and determination information from the digital camera 10. The reception unit 202 sends the received preliminary image data, distance information, strobe instruction, and determination information to the tag analysis unit 210. The receiving unit 202 sends the main image data to the face extracting unit 208 and the correcting unit 206.
[0075]
The tag analysis unit 210 determines whether the content of the strobe instruction matches the content of the determination information. Next, when the content of the strobe instruction matches the content of the determination information, the tag analysis unit 210 sends the preliminary image data received from the reception unit 202 to the measurement unit 212 and sends the distance information to the distance information acquisition unit 214. .
[0076]
The measurement unit 212 measures the brightness of the preliminary image data received from the tag analysis unit 210 and sends it to the correction unit 206 as second brightness information. The distance information acquisition unit 214 sends the distance information received from the tag analysis unit 210 to the correction unit 206.
[0077]
The face extraction unit 208 extracts the face area of the subject person from the main image data received from the reception unit 202, and sends the extracted image data of the face area to the correction unit 206.
[0078]
The correction unit 206 receives the distance information received from the distance information acquisition unit 214, the second brightness information received from the measurement unit 212, and the image data of the face area received from the face extraction unit 208. The main image data received from 202 is corrected and sent to the printing unit 204. The printing unit 204 prints the main image data received from the correction unit 206.
[0079]
FIG. 5 is a flowchart illustrating the operation of the digital camera 10 according to the present embodiment. When the subject information acquisition unit 502 receives half-press information indicating that the release switch 114 is half-pressed (S100), the subject information acquisition unit 502 acquires subject information (S102). The determination unit 500 determines whether or not to emit strobe light based on the subject information (S103).
[0080]
When the operation unit 110 receives a strobe instruction from the user, the strobe control unit 504 determines whether to emit strobe light based on the strobe instruction. On the other hand, if the operation unit 110 does not receive a strobe instruction from the user, the strobe control unit 504 determines whether to emit strobe light based on the determination information determined by the determination unit 500 (S104).
[0081]
When it is determined that the strobe light is emitted, the strobe control unit 504 instructs the strobe 36 to emit the strobe light (S106). Next, the imaging unit 20 captures an image of the subject in a state where the strobe light is not emitted (S108).
[0082]
Next, the distance information acquisition unit 506 acquires distance information indicating the distance from the digital camera 10 to the subject (S110). When the release switch 114 is fully pressed (S112), the imaging unit 20 images the subject (S114). The second brightness information acquisition unit 324 is captured in S108, the distance information acquired by the distance information acquisition unit 506, the strobe instruction received by the operation unit 110 from the user, the determination information determined by the determination unit 500, and The preliminary image data is stored as tag information in the captured image storage unit 320 in association with the main image data captured in S114 (S116).
[0083]
In the present embodiment, the first brightness information acquisition unit 322 stores the preliminary image data captured in a state in which the strobe light is not emitted in the captured image storage unit 320, but instead of the preliminary image data from the preliminary image data, the subject The first brightness information indicating the measured brightness may be stored in the captured image storage unit 320.
[0084]
The second brightness information acquisition unit 324 stores only the main image data captured in a state where the strobe light is emitted, in the captured image storage unit 320. Instead, the second brightness information acquisition unit 324 uses the main image data from the strobe. The brightness of the subject in a state where light is emitted may be measured, and second brightness information indicating the measured brightness may be associated with the main image data and further stored in the captured image storage unit 320.
[0085]
FIG. 6 is a flowchart showing the operation of the printer 200 in this embodiment. The receiving unit 202 receives the preliminary image data, which is tag information of the main image data, the distance information, the strobe instruction, and the determination information from the digital camera 10 together with the main image data (S200).
[0086]
When the tag analysis unit 210 determines that both the strobe instruction and the determination information are information indicating that the strobe light should be emitted (S202), the measurement unit 212 receives the preliminary image data received by the reception unit 202. Is measured (S204). Here, the brightness of the preliminary image data is the brightness around the subject. For example, the R (Red), G (Green), and B (Blue) color levels of the image data, EV values (Exposure Value, exposure index) ).
[0087]
Next, the distance information acquisition unit 214 acquires distance information indicating the distance from the digital camera 10 to the subject (S206). Here, the distance information acquisition unit 214 may select the distance information from the tag information corresponding to the main image data and process the information so that the correction unit 206 can use it.
[0088]
Next, the face extracting unit 208 extracts the face area of the subject person from the main image data received by the receiving unit 202 (S208). Here, as a specific method for extracting the face area from the main image data, for example, a method described in Japanese Patent Laid-Open No. 8-122944 or Japanese Patent Laid-Open No. 5-100328 can be used.
[0089]
In the method described in Japanese Patent Laid-Open No. 8-122944, the main image data is divided into a plurality of areas, and after removing the non-person area, a shape pattern representing the contour of the person's head is detected, and the detected pattern is detected. Then, a face candidate area is detected, and a shape pattern that represents the contour of the person's face, a shape pattern that represents the internal structure of the face, and a shape pattern that represents the outline of the human torso are detected. A face region is extracted by determining consistency and determining a region with the highest degree of accuracy corresponding to a human face.
[0090]
The method described in Japanese Patent Application Laid-Open No. 5-100328 divides an image into a plurality of areas and performs photometry, converts the data obtained by photometry into hue and saturation, creates these two-dimensional histograms, This histogram is decomposed into single peaks, and further, it is determined which corner pixel of the image belongs to, and the pixels are decomposed into groups corresponding to the divided peaks, and the image is divided into each group. Then, the face candidate area is extracted, the image size of the extracted area is compared with the image size obtained from the main image size information, and the most matching area is extracted as the face area.
[0091]
Next, the correcting unit 206 measures the brightness of the main image data received by the receiving unit 202. For example, if 'Y' is information indicating brightness, the correction unit 206 uses each RGB channel,
[0092]
Y = 0.299R + 0.587G + 0.114B
(0 <R, G, B <255, 255; white)
As described above, the total pixel integration may be performed, or the image data may be divided into a plurality of regions, and the brightness may be measured by weighted average such as weighting the central portion.
[0093]
Next, the correction unit 206 measures the brightness of the measured main image data, the image of the face area extracted by the face extraction unit 208, the distance information acquired by the distance information acquisition unit 214, and the preliminary image data measured by the measurement unit 212. The main image data is corrected based on the brightness of the image (S212).
[0094]
For example, the correction unit 206 indicates a dark scene in which the brightness of the preliminary image data is equal to or less than a predetermined value, and the brightness of the main image data is equal to or less than the predetermined value and indicates the extent that the strobe light is not sufficiently irradiated. The main image data is corrected to such an extent that the outline of the subject becomes clear and does not become too bright. For example, the correction unit 206 corrects the main image data so that the chromaticity of the image of the face area extracted by the face extraction unit 208 becomes the appropriate chromaticity of the face. As described above, the correction unit 206 can appropriately correct the brightness of the main image data according to the chromaticity of the image of the face area of the main image data and the brightness of the preliminary image data.
[0095]
The correction unit 206 can correct the main image data using the distance information. When the digital camera 10 emits strobe light to capture a subject, the amount of light emitted to the subject varies depending on the distance from the digital camera 10 to the subject. Therefore, the correction unit 206 estimates the amount of light emitted to the subject using the distance information acquired by the distance information acquisition unit 214, and corrects the main image data based on the estimated amount of light emission.
[0096]
The printing unit 204 prints the main image data corrected by the correction unit 206 (S214). In S202, when the tag analysis unit 210 determines that either the strobe instruction or the determination information is information indicating that the strobe light is not emitted, the process jumps to S214 without correcting the main image data.
[0097]
When the judgment information indicates that the strobe light should not be emitted and the strobe instruction indicates that the strobe light should be emitted, for example, the user can arbitrarily set the strobe light even though the subject is in a bright state. Since light is emitted, the brightness of the main image data has a very high value. The correcting unit 206 can correct the main image data to an appropriate brightness when the brightness is a very high value. However, the tag analysis unit 210 indicates that the determination information should not emit strobe light, and if the strobe instruction indicates that strobe light should be emitted, the user can arbitrarily emit strobe light. Therefore, the correction unit 206 can be prohibited from correcting the main image data.
[0098]
The digital camera 10 according to the present embodiment does not add tag information to the main image data captured without the strobe light. However, as another example, the digital camera 10 is captured with the strobe light not emitted. Tag information may be added to the main image data and reported. Here, the tag information includes determination information determined by the determination unit 500 and a strobe instruction. The digital camera 10 sends the tag information and the main image data to the printer 200. The printer 200 corrects the main image data based on the received tag information.
[0099]
For example, when the determination information indicates that the strobe light should be emitted and the strobe instruction indicates that the strobe light should not be emitted, the brightness of the subject is dark with a brightness equal to or less than a predetermined value. Nevertheless, there is a high possibility that the user does not want to emit strobe light, that is, a dark image is desired. Therefore, the printer 200 can prohibit correction for brightening the main image data. As described above, the printer 200 can correct the correction of the main image data captured in a state where the strobe light is not emitted based on the tag information corresponding to the main image data.
[0100]
FIG. 7 is a block diagram showing a characteristic functional configuration of the digital camera 10 according to the second example of the present embodiment. The digital camera 10 includes an imaging unit 20 that captures an image, an imaging system CPU 50 that controls the operation of the imaging unit 20, a dividing unit 600 that divides an image, a skin color extraction unit 602 that extracts a skin color region from the image, and a correction of the image. A correction condition determination unit 604 that determines a correction condition in the case, a correction unit 606 that corrects an image based on the determined correction condition, a storage unit 608 that stores an image, and a transmission that transmits the image to the printer 200 or the personal computer 900 Part 326.
[0101]
The imaging unit 20 captures the preliminary image data of the subject, and captures the main image data of the subject according to the imaging condition determined based on the preliminary image data. Specifically, the imaging unit 20 captures a preliminary image of a subject based on a user operation such as half-pressing the release switch 114. The imaging system CPU 50 analyzes the preliminary image acquired by the imaging unit 20 and acquires subject information such as the brightness and color of the subject. The imaging system CPU 50 may further acquire the distance of the subject in the subject information from the distance measuring sensor 52 described in FIG.
[0102]
Then, the imaging system CPU 50 determines imaging conditions that are determined to be optimal when the imaging unit 20 captures the main image of the subject based on subject information such as the brightness, color, and distance of the subject. The imaging conditions include, for example, shutter speed, aperture value, presence / absence of light emission of the strobe 36 described with reference to FIG. 2, light emission intensity when the strobe 36 emits light, white balance, and the like.
[0103]
Subsequently, when a user operation such as full pressing of the release switch 114 is performed, the imaging unit 20 captures the main image data of the subject according to the imaging conditions determined by the imaging system CPU 50. Specifically, the imaging unit 20 causes the strobe 36 to emit light according to the light emission conditions determined by the imaging system CPU 50, exposes the CCD 30 described in FIG. 2 with the shutter speed and aperture value determined by the imaging system CPU 50, and the imaging system CPU 50. The imaging signal is processed with the white balance determined by.
[0104]
The dividing unit 600 divides the main image data into a plurality of areas. Specifically, the dividing unit 600 divides the main image into a plurality of areas with a predetermined pattern. For example, the dividing unit 600 may divide the main image in a grid shape at a predetermined pitch, or may divide the main image in a concentric manner according to the distance from the center of the image.
[0105]
The dividing unit 600 may divide the main image data into a plurality of regions based on the luminance distribution of the main image data. For example, the dividing unit 600 may divide the main image data into an area having an average luminance higher than a predetermined reference value and an area having an average luminance lower than the reference value.
[0106]
The dividing unit 600 may divide the main image data into a plurality of regions based on the chromaticity distribution of the main image data. For example, the dividing unit 600 may divide the main image data into a plurality of regions based on whether or not the RGB color balance satisfies a predetermined criterion. Alternatively, the dividing unit 600 determines that the main image data has an R (Red) level higher than the reference value, an G (Green) level higher than the reference value, and a B (Blue) level higher than the reference value. May be divided into higher regions.
[0107]
The dividing unit 600 may divide the main image data into a plurality of areas based on the distance of the subject. For example, the dividing unit 600 may divide the main image data into a subject area that is farther than a predetermined value and a subject area that is closer than a predetermined value.
[0108]
The skin color extraction unit 602 includes a first skin color area in which the skin color pixels occupy a predetermined value or more in the preliminary image data, and a second skin color area in which the skin color pixels occupy a ratio of the predetermined value or more in the main image data. And extract.
[0109]
The correction condition determination unit 604 determines a correction condition for correcting the main image data based on the preliminary image data and the main image data. The correction condition determination unit 604 may determine the correction condition for each area of the main image data divided by the dividing unit 600 into a plurality of areas based on the preliminary image data and the main image data. Specifically, the correction condition determination unit 604 compares the preliminary image data and the main image data to determine whether the image quality of the main image data is improved by a predetermined amount or more than the image quality of the preliminary image data. Judgment. Then, the correction condition determination unit 604 determines a correction value for correcting image data in a region where improvement in image quality is insufficient when compared with the preliminary image in the main image data.
[0110]
For example, the correction condition determination unit 604 determines, for each region, whether or not the luminance of the main image data acquired by emitting the strobe 36 is higher than a predetermined value with respect to the luminance of the preliminary image data lower than a predetermined value. To do. Then, if there is an area where the luminance of the main image data is not higher than the luminance of the preliminary image data by a predetermined value or more, the correction condition determination unit 604 should make the luminance of the area higher than the luminance of the preliminary image data by a predetermined value or more. A correction value for correcting the luminance of the main image data is determined.
[0111]
The correction condition determination unit 604 may determine a correction condition for correcting the main image data based on the imaging condition when the main image data is captured. Specifically, the correction condition determination unit 604 determines whether or not the main image data satisfies the image quality that the imaging system CPU 50 has determined that can be achieved by the imaging conditions optimized based on the preliminary image. Then, the correction condition determination unit 604 may determine a correction value for correcting the main image data so as to satisfy the image quality determined to be achieved by the imaging system CPU 50.
[0112]
The correction condition determination unit 604 may determine a correction value for correcting the main image data based on the distance from the digital camera 10 to the subject when the main image data is captured. For example, when the distance from the digital camera 10 to the subject is closer than a predetermined value, the correction condition determination unit 604 may determine a correction value that corrects the luminance of the main image data higher than when the distance is longer than the predetermined value. Good. As a result, the correction condition determination unit 604 can determine a correction value that optimizes the effect of strobe light emission according to the distance to the subject. Further, when the distance from the digital camera 10 to the subject is closer than the predetermined value, the correction condition determination unit 604 has a higher blue ratio in the color balance of the main image data than when the distance is longer than the predetermined value. A correction value may be determined. Thereby, the correction condition determination unit 604 can appropriately correct the influence of the light of the strobe 36 having a higher color temperature than the light of the light bulb, the evening sunlight, or the like on the color balance of the main image data.
[0113]
The correction condition determination unit 604 may determine a correction condition for correcting the main image data based on the brightness of the first skin color area and the brightness of the second skin color area. Specifically, the correction condition determination unit 604 determines when the imaging system CPU 50 determines the imaging condition based on the difference in luminance between the first and second skin color regions extracted from the captured preliminary image data and main image data, respectively. Compared with the assumed difference between the first and second luminances, it is determined whether the difference is within a predetermined error. Then, the difference in luminance between the first and second skin color regions extracted from the captured preliminary image data and the main image data does not fall within a predetermined error compared to the luminance difference assumed by the imaging system CPU 50. In this case, the correction condition determination unit 604 determines the luminance of the main image data so that the luminance difference between the first and second skin color regions is within a predetermined error compared to the luminance difference assumed by the imaging system CPU 50. The correction conditions for correcting the are determined.
[0114]
The correction condition determination unit 604 may determine a correction condition for correcting the main image data based on the chromaticity of the first skin color area and the chromaticity of the second skin color area. Specifically, the correction condition determination unit 604 determines whether the chromaticity of the second skin color area reflects the white balance adjusted by the imaging system CPU 50 based on the chromaticity of the first skin color area. . When the chromaticity of the second skin color area does not reflect the white balance adjusted based on the chromaticity of the first skin color area, the correction condition determination unit 604 determines the chromaticity of the second skin color area. Determines a correction condition for correcting the chromaticity of the main image data to reflect the white balance adjusted based on the chromaticity of the first skin color region.
[0115]
The correction unit 606 corrects the main image data according to the correction condition determined by the correction condition determination unit 604. The correcting unit 606 corrects each of the plurality of areas divided by the dividing unit 600 based on the correction condition determined by the correction condition determining unit 604. The correction unit 606 corrects the image data of the skin color area in the main image data based on the correction condition determined by the correction condition determination unit 604.
[0116]
The storage unit 608 stores the main image data corrected by the correction unit 606. The transmission unit 326 transmits the main image data stored in the storage unit 608 to the printer 200 or the personal computer 900.
[0117]
The digital camera 10 may not include the correction unit 606. In this case, the storage unit 608 stores the correction condition determined by the correction condition determination unit 604 and the main image data in association with each other. Then, the transmission unit 326 transmits the correction conditions and the main image data stored in the storage unit 608 to the printer 200 or the personal computer 900 in association with each other.
[0118]
Further, the digital camera 10 may not include the dividing unit 600, the skin color extracting unit 602, the correction condition determining unit 604, and the correcting unit 606. In this case, the storage unit 608 stores the preliminary image data and the main image data acquired by the imaging unit 20 in association with each other. Then, the transmission unit 326 transmits the preliminary image data and the main image data stored in the storage unit 608 to the printer 200 or the personal computer 900 in association with each other.
[0119]
FIG. 8 is a block diagram illustrating a characteristic functional configuration of the printer 200 and the personal computer 900 according to the present embodiment. The printer 200 and the personal computer 900 output an acquisition unit 220 that acquires an image, a division unit 222 that divides the image, a skin color extraction unit 224 that extracts a skin color region from the image, a correction unit 226 that corrects the image, and an image. An output unit 228 is included.
[0120]
The acquisition unit 220 acquires, from the digital camera 10, preliminary image data associated with each other and main image data captured under an imaging condition based on the preliminary image data. The acquisition unit 220 may acquire information indicating the distance of the subject when the preliminary image data is captured from the digital camera 10 or may capture the main image data determined based on the preliminary image. The imaging conditions at the time may be further correlated and acquired.
[0121]
The dividing unit 222 divides the main image data into a plurality of areas. The skin color extraction unit 224 includes a first skin color region in which the skin color pixels occupy a predetermined value or more in the preliminary image data, and a second skin color region in which the skin color pixels occupy a predetermined value or more in the main image data. And extract. The operation of dividing the main image data by the dividing unit 222 and the operation of extracting the first skin color region and the second skin color region by the skin color extracting unit 224 are the same as the dividing unit 600 of the digital camera 10 described in FIG. Since the operation is the same as that of the skin color extraction unit 602, the description thereof is omitted.
[0122]
The correction unit 225 corrects the main image data based on the preliminary image data and the main image data. The correcting unit 226 may correct the main image data for each area divided by the dividing unit 222 based on the preliminary image data and the main image data. The correction unit 226 may correct the luminance of the main image data based on the luminance of the first skin color region, the luminance of the second skin color region, and the imaging conditions. The correcting unit 226 may correct the chromaticity of the main image data based on the chromaticity of the first skin color area, the chromaticity of the second skin color area, and the imaging conditions. Since the operation of the correction unit 226 is a combination of the operations of the correction condition determination unit 604 and the correction unit 606 of the digital camera 10 described in FIG.
[0123]
The output unit 228 outputs the main image data corrected by the correction unit 226. That is, the printer 200 prints the main image data, and the personal computer 900 displays the main image data on the monitor.
[0124]
As described above, according to the digital camera 10, the printer 200, and the personal computer 900 of the present embodiment, the preliminary image data captured before adjusting the imaging conditions and the main image data captured after adjusting the imaging conditions. Therefore, the main image data is corrected based on the above, so that the main image data can be corrected with high accuracy reflecting the state of the subject.
[0125]
FIG. 9 is a flowchart illustrating the operation of the digital camera 10 according to the present embodiment. When the digital camera 10 detects a user operation such as half-pressing the release switch, the distance measuring sensor 52 measures the distance to the subject, the photometric sensor acquires the brightness of the subject, and the imaging unit 20 detects the subject. The preliminary image is taken (S300). Next, the imaging system CPU 50 determines imaging conditions that are determined to be optimal when the imaging unit 20 captures the main image of the subject based on subject information such as the brightness, color, and distance of the subject (S304). The imaging conditions include, for example, shutter speed, aperture value, presence / absence of light emission of the strobe 36 described with reference to FIG. 2, light emission intensity when the strobe 36 emits light, white balance, and the like.
[0126]
Subsequently, when a user operation such as full pressing of the release switch 114 is performed, the imaging unit 20 captures the main image data of the subject according to the imaging conditions determined by the imaging system CPU 50.
An image is formed (S306). Next, the dividing unit 600 divides the main image data into a plurality of regions based on the luminance distribution of the main image data (S308).
[0127]
The correction condition determination unit 604 compares the preliminary image data and the main image data, determines whether or not the main image data satisfies a predetermined condition, and corrects image data in an area that does not satisfy the predetermined condition. In this case, the correction condition is determined for each region (S314). Correction conditions for correcting the main image data are determined for each of the areas divided by the dividing unit 600 (S314).
[0128]
The correction unit 606 corrects the main image data according to the correction condition determined by the correction condition determination unit 604 (S316). The correcting unit 606 corrects each of the plurality of areas divided by the dividing unit 600 based on the correction condition determined by the correction condition determining unit 604.
[0129]
The storage unit 608 stores the main image data corrected by the correction unit 606 (S318). The transmission unit 326 transmits the main image data stored in the storage unit 608 to the printer 200 or the personal computer 900 (S322). This flow is completed.
[0130]
FIG. 10 is a flowchart illustrating operations of the printer 200 and the personal computer 900 according to the present embodiment. The acquisition unit 220 acquires main image data and preliminary image data from the digital camera 10 (S400). Next, the dividing unit 222 divides the main image data into a plurality of regions based on the luminance distribution of the main image data (S402). Next, the correcting unit 226 corrects the main image data divided by the dividing unit 222 into a plurality of regions for each region based on the main image data and the preliminary image data (S404). Next, the output unit 228 outputs the corrected main image data (S406). That is, the printer 200 prints the main image data, and the personal computer 900 displays the main image data on the monitor. This flow is completed.
[0131]
FIG. 11 shows a hardware configuration of the personal computer 900 according to the present embodiment. The personal computer 200 includes a CPU 700, a ROM 702, a RAM 704, a communication interface 706, a hard disk drive 710, flexible A disk drive 712 and a CD-ROM drive 716 are provided. The CPU 700 operates based on a program stored in the ROM 702 and the RAM 704 and controls each unit. The communication interface 706 communicates with the digital camera 10 and the printer 12.
[0132]
flexible The disk drive 712 is flexible Data or a program is read from the disk 714 and provided to the communication interface 706. The CD-ROM drive 716 reads data or a program from the CD-ROM 718 and provides it to the communication interface 706. The communication interface 706 is flexible Data or a program provided from the disk drive 712 or the CD-ROM drive 716 is transmitted to the digital camera 10 or the printer 200.
[0133]
The program provided to the printer 200 is flexible It is stored in a recording medium such as a disk 714 or a CD-ROM 718 and provided by a user. The program stored in the recording medium may be compressed or uncompressed. The program is read from the recording medium, installed in the digital camera 10 or the printer 200 via the communication interface 706, and executed in the digital camera 10 or the printer 200.
[0134]
The program stored and provided in the recording medium and installed in the digital camera 10 includes, as a functional configuration, a subject information acquisition module, a determination module, an operation module, a management module, and a first brightness information acquisition module. An imaging module, a division module, a skin color extraction module, a correction condition determination module, a correction module, a storage module, and a transmission module. The operation that each module causes the digital camera 10 to perform is the same as the operation of the corresponding member in the digital camera 10 described with reference to FIGS.
[0135]
The program stored and provided in the recording medium and installed in the printer 200 includes a receiving module, an acquisition module, a correction module, a division module, a skin color extraction module, and an output module as functional configurations. . The operation that each module causes the printer 12 to perform is the same as the operation of the corresponding member in the printer 200 described with reference to FIGS.
[0136]
As an example of the recording medium shown in FIG. flexible The disc 714 or the CD-ROM 718 can store a part or all of the functions of the digital camera 10 or the printer 200 in the embodiment described in the present application.
[0137]
These programs may be read and executed directly from the recording medium by the digital camera 10 or the printer 200, or may be executed by the digital camera 10 or the printer 200 after being installed in the digital camera 10 or the printer 200. Further, the program may be stored in a single recording medium or a plurality of recording media. Alternatively, it may be stored in an encoded form.
[0138]
As a recording medium, flexible In addition to disks and CD-ROMs, optical recording media such as DVD and PD, magneto-optical recording media such as MD, tape media, magnetic recording media, and semiconductor memories such as IC cards and miniature cards can be used. Further, a storage device such as a hard disk or a RAM provided in a server system connected to a dedicated communication network or the Internet may be used as a recording medium, and the program may be provided to the digital camera 10 or the printer 200 via the communication network. Such a recording medium is used only for manufacturing the digital camera 10 or the printer 200, and the manufacture and sale of such a recording medium as a business constitutes infringement of patent rights based on the present application. It is clear to do.
[0139]
As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. Various modifications or improvements can be added to the above embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
[0140]
【The invention's effect】
As is apparent from the above description, according to the present invention, image data can be processed according to the light emission state of strobe light. Further, the main image data can be corrected with high accuracy based on the preliminary image data and the main image data.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of an image processing system according to an embodiment.
FIG. 2 is a diagram illustrating a configuration of a digital camera 10 according to the present embodiment.
FIG. 3 is a block diagram illustrating a characteristic functional configuration of the digital camera 10 according to a first example of the present embodiment.
FIG. 4 is a block diagram illustrating a characteristic functional configuration of the printer 200 according to the first embodiment.
FIG. 5 is a flowchart showing the operation of the digital camera 10 according to the first embodiment.
FIG. 6 is a flowchart illustrating an operation of the printer 200 according to the first embodiment.
FIG. 7 is a block diagram showing a characteristic functional configuration of a digital camera 10 according to a second example of the present embodiment.
FIG. 8 is a block diagram illustrating a characteristic functional configuration of a printer 200 according to a second embodiment.
FIG. 9 is a flowchart showing the operation of the digital camera 10 according to the second embodiment.
FIG. 10 is a flowchart illustrating an operation of the printer 200 according to the second embodiment.
FIG. 11 is a diagram illustrating a hardware configuration of a personal computer 900 according to the present embodiment.
[Explanation of symbols]
10 Digital camera 20 Imaging unit
32 Imaging signal processing unit 40 Imaging control unit
50 Imaging System CPU 60 Processing Unit
62 Main CPU 100 Display section
110 Operation unit 200 Printer
202 receiving unit 204 printing unit
206 Correction unit 208 Face extraction unit
210 Tag analysis unit 212 Measurement unit
214 Distance information acquisition unit 220 Acquisition unit
222 Dividing unit 224 Skin color extracting unit
226 Correction unit 228 Output unit
320 Captured image storage unit 322 First brightness information acquisition unit
324 Second brightness information acquisition unit 326 transmission unit
500 Judgment Unit 502 Subject Information Acquisition Unit
504 Strobe control unit 506 Distance information acquisition unit
600 division unit 602 skin color extraction unit
604 Correction condition determination unit 606 Correction unit
608 Storage unit 700 CPU
702 ROM 704 RAM
706 Communication interface 710 Hard disk drive
712 flexible Disk drive 716 CD-ROM drive
900 Personal computer

Claims

An image processing system including an imaging device and an image processing device,
The imaging device
An imaging unit for imaging a subject;
A subject information acquisition unit for acquiring subject information including brightness information indicating the brightness of the subject and distance information indicating a distance from the imaging device to the subject;
A determination unit for determining whether to emit strobe light based on the subject information;
An operation unit for receiving a strobe instruction indicating whether or not to emit a strobe light from a user;
A captured image storage unit that stores the determination information determined by the determination unit based on the subject information and the strobe instruction in association with main image data captured by the imaging unit;
The image processing apparatus includes:
A receiving unit that receives the determination information and the strobe instruction together with the main image data;
Based on the determination information and the strobe instruction, it has a correction unit that corrects the main image data,
The image processing system in which the correction unit does not correct the main image data when the determination information and the strobe instruction are contradictory information .

The imaging device
When the imaging unit captures the main image data in a state in which strobe light is emitted, first brightness information that acquires first brightness information indicating the brightness of the subject in a state in which the strobe light is not emitted. And an information acquisition unit,
The image processing system according to claim 1, wherein the captured image storage unit stores the first brightness information in association with the main image data.

The imaging device
A second brightness information acquisition unit for acquiring second brightness information indicating the brightness of the subject in a state in which the strobe light is emitted;
The captured image storage unit, the image processing system according to claim 2, said second brightness information, and stores in association with the main image data.

The imaging unit captures preliminary image data in a state where no strobe light is emitted,
The image processing system according to claim 2 , wherein the first brightness information acquisition unit acquires the first brightness information from the preliminary image data.

The image processing system according to claim 3 , wherein the second brightness information acquisition unit acquires the second brightness information from the main image data.

The imaging unit captures preliminary image data in a state where no strobe light is emitted,
The image processing apparatus includes:
A measurement unit for measuring the brightness of the preliminary image data;
The image processing system according to claim 1, wherein the correction unit corrects the main image data based on brightness measured by the measurement unit.

The image processing apparatus includes:
A face extracting unit that extracts a face area of the person from the main image data when the subject of the main image data includes a person;
Wherein the correction unit is further based on the face area, the image processing system according to any one of claims 1 to 6 corrects the main image data.

An image processing method comprising an imaging step and an image processing step,
The imaging step includes
Imaging a subject;
Obtaining subject information including brightness information indicating the brightness of the subject and distance information indicating a distance from the imaging device to the subject;
Determining whether to emit strobe light based on the subject information;
Receiving a strobe instruction from a user indicating whether or not to emit strobe light;
Storing the determination information determined based on the subject information, and the strobe instruction in association with the captured main image data,
The image processing step includes
Receiving the determination information and the strobe instruction together with the main image data;
Based on the determination information and the strobe instruction, it possesses and correcting the main image data,
An image processing method in which the correcting step does not correct the main image data when the determination information and the strobe instruction are contradictory information .

The imaging step includes
Acquiring the first brightness information indicating the brightness of the subject in a state where the strobe light is not emitted when the main image data is captured while the strobe light is emitted;
The image processing method according to claim 8 , further comprising a step of storing the first brightness information in association with the main image data.

The imaging step includes
Obtaining second brightness information indicating the brightness of the subject in a state in which the strobe light is emitted;
The image processing method according to claim 9 , further comprising a step of storing the second brightness information in association with the main image data.

The step of imaging the subject captures preliminary image data in a state in which no flash light is emitted,
The image processing method according to claim 9 , wherein the step of acquiring the first brightness information acquires the first brightness information from the preliminary image data.

The image processing method according to claim 10 , wherein the step of acquiring the second brightness information acquires the second brightness information from the main image data.

The step of imaging the subject captures preliminary image data in a state in which no flash light is emitted,
The image processing step includes
Measuring the brightness of the preliminary image data,
The image processing method according to claim 8 , wherein the correcting step corrects the main image data based on the brightness measured in the measuring step.

The image processing step includes
A step of extracting a face area of the person from the main image data when the subject of the main image data includes a person;
Step is further based on the face area, the image processing method according to any one of claims 8 to 13 corrects the main image data to the correction.

A program for an image processing system comprising an imaging device and an image processing device,
The imaging device;
An imaging unit for imaging a subject;
A subject information acquisition unit that acquires subject information including brightness information indicating the brightness of the subject and distance information indicating a distance from the imaging device to the subject;
A determination unit that determines whether to emit strobe light based on the subject information;
An operation unit that receives a strobe instruction indicating whether or not to emit strobe light from a user, determination information determined by the determination unit based on the subject information, and main image data obtained by capturing the strobe instruction by the imaging unit Function as a captured image storage unit that stores data in association with
The image processing apparatus;
A receiving unit that receives the determination information and the strobe instruction together with the main image data; and a correction unit that corrects the main image data based on the determination information and the strobe instruction ;
The correction unit is a program that does not correct the main image data when the determination information and the strobe instruction are contradictory information .

The imaging device;
When the imaging unit captures the main image data while emitting strobe light, the first brightness for obtaining first brightness information indicating the brightness of the subject in a state where the strobe light is not emitted. Further function as an information acquisition unit,
The program according to claim 15 , wherein the captured image storage unit stores the first brightness information in association with the main image data.

The imaging device;
Further functioning as a second brightness information acquisition unit for acquiring second brightness information indicating the brightness of the subject in a state in which flash light is emitted;
The program according to claim 16 , wherein the captured image storage unit stores the second brightness information in association with the main image data.

The imaging unit captures preliminary image data in a state where no strobe light is emitted,
The program according to claim 16 , wherein the first brightness information acquisition unit acquires the first brightness information from the preliminary image data.

The program according to claim 17 , wherein the second brightness information acquisition unit acquires the second brightness information from the main image data.

The imaging unit captures preliminary image data in a state where no strobe light is emitted,
The image processing apparatus;
Further function as a measurement unit for measuring the brightness of the preliminary image data,
The program according to claim 15 , wherein the correction unit corrects the main image data based on the brightness measured by the measurement unit.

The image processing apparatus;
When the subject of the main image data includes a person, it further functions as a face extraction unit that extracts the face area of the person from the main image data,
Wherein the correction unit is configured further based on the face area, the program according to any one of claims 16 to 20 to correct the image data.