JP2016144006A - 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体 - Google Patents

画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2016144006A
JP2016144006A JP2015017934A JP2015017934A JP2016144006A JP 2016144006 A JP2016144006 A JP 2016144006A JP 2015017934 A JP2015017934 A JP 2015017934A JP 2015017934 A JP2015017934 A JP 2015017934A JP 2016144006 A JP2016144006 A JP 2016144006A
Authority
JP
Japan
Prior art keywords
target image
image
unit
scene
aperture value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015017934A
Other languages
English (en)
Inventor
入江 公祐
Kimihiro Irie
公祐 入江
慎也 藤原
Shinya Fujiwara
慎也 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015017934A priority Critical patent/JP2016144006A/ja
Publication of JP2016144006A publication Critical patent/JP2016144006A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】レンズ交換式デジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもホワイトバランス処理を精度良く行うことができる画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体を提供する。【解決手段】画像処理装置は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する画像取得部46と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する絞り値判定部47と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行うシーン判定部49と、シーン判定部49による対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定するパラメータ決定部50とを備える。【選択図】図13

Description

本発明は、オートホワイトバランス処理(Auto White Balance処理:AWB処理)を行う画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体に係り、特に、撮影の際の絞り値が得られない場合にもホワイトバランス処理(White Balance処理:WB処理)を行うことができるAWB処理技術に関する。
画像撮影時の光の状況を自動的に判断してホワイトバランスを調整するAWB処理技術が広く使われている。
例えば特許文献1に開示される撮影装置では、撮像素子から出力されデジタル信号に変換された画像信号のWB処理が画像処理回路において行われる。また特許文献2及び特許文献3に開示される撮像装置では、被写体の輝度値と被写体距離とに基づいて被写体が屋内にあるのか屋外にあるのかが推定され、その推定の結果に基づいてWB処理が行われる。
特開2010−245695号公報 特開2005−080011号公報 特開2004−187246号公報
撮影された画像の色調は、被写体の物体色の影響を受ける。そのため被写体の色情報だけではなく明るさ情報(輝度情報)にも基づいて撮影の際の光源色(例えばRGB(赤緑青)等の色比)が推定され、その推定された光源色の影響を低減するようなホワイトバランスゲイン(White Balanceゲイン:WBゲイン)が特定されてAWB処理が行われることがある。
すなわち、被写体が同色であっても異なる光源下で撮影された複数の画像に対しては、対応の光源に応じたWB処理を行うことが好ましい。そのため、同じ色の被写体を含む複数の画像であっても、その同色の被写体が明るく写されている画像に適用するWBゲインと、その同色の被写体が暗く写されている画像に適用するWBゲインとが変えられるケースがある。例えば明るいオレンジの被写体については屋外の土の物体色が強く反映されていると推定し、画像中のR成分比(赤成分比)を増大させるようなWBゲインを使ってAWB処理を行うことができる。一方、暗いオレンジの被写体については電球の光源色が強く反映されていると推定し、画像中のR成分比を低減させるようなWBゲインを使ってAWB処理を行うことができる。
このようにAWB処理において被写体の色情報だけではなく被写体の輝度情報を活用することで、より高精度なWB処理を行うことが可能になる。このような被写体の輝度情報は、F値等の絞り値に基づいて特定される。
しかしながら、本体部にレンズ部が取り外し可能に装着されるレンズ交換式デジタルカメラによって画像が撮影される場合、レンズ部と本体部との間で情報通信が適切に行われないと、本体部は撮影画像の絞り値の情報をレンズ部から取得できず、被写体の輝度情報を得ることができない場合がある。例えば通信機能を本来的に持たないレンズ部を使って撮影が行われる場合やレンズ部と本体部との間で通信障害が発生している場合、本体部は、撮影の際に設定された絞り値の情報をレンズ部から取得することができないため、被写体の輝度情報を正確に推定することが難しい。また外付けのND(Neutral Density)フィルタが装着されている場合には、絞り値から被写体の輝度情報を正確に求めることが難しい。
特に近年におけるレンズ交換式デジタルカメラの人気の高まりとともに、通信機能を持たない所謂オールドレンズを積極的に使ってオールドレンズによってもたらされる独特の画質特性を楽しみたいというユーザも増えてきている。オールドレンズが使われて画像撮影が行われ、本体部が撮影の際に用いられた絞り値を取得できずにAWB処理を適切に行うことができない状況であっても、ホワイトバランス調整(White Balance調整:WB調整)に慣れた上級ユーザであれば、自らの嗜好に応じて個別的に特定のWBゲインを選定して画像のWB処理を行うことも容易である。例えば、上級ユーザは、撮影した画像をRAW形式で保存しておき、現像ソフトを使ってそのRAW形式の画像のWB処理を行い、画像の色調を好みに応じて変えて楽しむことも多い。
その一方で、初級ユーザにとっては、AWB処理を利用せずに個別的にWBゲインを選定してWB処理を精度良く行うことは多大な困難を伴うため、オールドレンズの使用意欲が削がれてしまう。そのため、本体部との間で情報通信を行うことができないようなオールドレンズなどのレンズ部を使って撮影された画像であっても、WB処理を精度良く行うことを可能にする新たなAWB処理技術の提案が望まれている。また、レンズ部が本体部の通信規格に沿って製造されておらず、レンズ部と本体部との間で完全な通信を行うことができないようなサードパーティ製の交換レンズについても同様である。
しかしながら上述の特許文献1〜特許文献3は、レンズ部と本体部との間で情報通信が適切に行われない場合においてもWB処理を精度良く行うことができる技術を開示も示唆もせず、そのような技術を開示又は示唆する他の文献も見当たらない。
本発明は上述の事情に鑑みてなされたものであり、レンズ交換式のデジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもWB処理を精度良く行うことが可能なAWB処理技術を提供することを目的とする。
本発明の一態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する画像取得部と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する絞り値判定部と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行うシーン判定部と、シーン判定部による対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定するパラメータ決定部とを備える画像処理装置に関する。
本態様によれば、絞り値が取得できない場合であっても、少なくとも対象画像に基づいて撮影シーンが判定され、ホワイトバランスの調整パラメータが決定される。したがってレンズ交換式のデジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもWB処理を精度良く行うことができる。
望ましくは、シーン判定部は、対象画像の解析を行い、解析の結果に基づいて対象画像の撮影シーンが屋外か否かを判定する。
本態様によれば、対象画像の解析によって、撮影シーンを精度良く判定することができる。
望ましくは、シーン判定部は、対象画像における被写体の形状、色、配置、面積及び空間周波数に基づく要素のうち少なくともいずれか1つの要素に基づいて対象画像の解析を行う。
本態様によれば、対象画像の解析を精度良く行うことができ、撮影シーンを的確に判定することが可能になる。
望ましくは、シーン判定部は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、輝度情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
本態様によれば、代表絞り値に基づいて撮影シーンを精度良く判定することができる。
望ましくは、代表絞り値は2.8以上8以下の範囲のF値に対応する。
より望ましくは、代表絞り値は4以上5.6以下の範囲のF値に対応する。
これらの態様によれば、一般に汎用性の高いF値が代表絞り値として選定されるため、被写体の輝度情報の取得及び撮影シーンの判定を精度良く行うことができる。
望ましくは、シーン判定部は、対象画像の解析を行って、予め定められる第1のキーターゲットが対象画像に含まれるか否かの評価を、対象画像を撮影した際の絞り値として代表絞り値を採用した場合に基づいて行い、評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。
本態様によれば、第1のキーターゲットが対象画像に含まれるか否かの評価に基づいて撮影シーンを精度良く判定することができる。
望ましくは、シーン判定部は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、第1のキーターゲットが対象画像に含まれるか否かの評価を輝度情報に基づいて行う。
本態様によれば、第1のキーターゲットが対象画像に含まれるか否かの評価を、被写体の輝度情報に基づいて精度良く行うことができる。
望ましくは、シーン判定部は、第1のキーターゲットに割り当てられる輝度を示す輝度条件を代表絞り値に基づいて決定し、輝度情報が輝度条件に該当するか否かに基づいて第1のキーターゲットが対象画像に含まれるか否かの評価を行う。
本態様によれば、第1のキーターゲットが対象画像に含まれるか否かの評価を、輝度条件に基づいて精度良く行うことができる。
望ましくは、第1のキーターゲットは青空の画像である。
本態様によれば、青空の画像が対象画像に含まれるか否かの評価に基づいて撮影シーンを精度良く判定することができる。
望ましくは、シーン判定部は、対象画像を撮影した際の焦点距離を取得し、対象画像の解析を行って被写体の特徴情報を取得し、焦点距離及び特徴情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
本態様によれば、対象画像を撮影した際の焦点距離及び被写体の特徴情報に基づいて撮影シーンを精度良く判定することができる。
望ましくは、シーン判定部は、焦点距離及び特徴情報に基づいて被写体距離を取得し、被写体距離に基づいて対象画像の撮影シーンが屋外か否かを判定する。
本態様によれば、被写体距離に基づいて撮影シーンを精度良く判定することができる。
望ましくは、特徴情報は、予め定められる範囲内のサイズを有する被写体の対象画像におけるサイズに関する情報である。
本態様によれば、サイズ情報に基づいて、被写体距離を精度良く求めることができる。
望ましくは、特徴情報は、顔、車、建造物及び空のうちの少なくともいずれか1つの被写体の対象画像におけるサイズに関する情報である。
本態様によれば、被写体距離を比較的簡便に求めることができる。
望ましくは、シーン判定部は、対象画像の解析を行って予め定められる第2のキーターゲットが対象画像に含まれるか否かの評価を行い、評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。
本態様によれば、第2のキーターゲットが対象画像に含まれるか否かの評価に基づいて撮影シーンを精度良く判定することができる。
望ましくは、第2のキーターゲットは、青空、太陽、虹及び山のうちの少なくともいずれか1つの画像であり、シーン判定部は、第2のキーターゲットが対象画像に含まれると評価した場合には対象画像の撮影シーンが屋外であると判定する。
本態様によれば、比較的簡便に撮影シーンを判定することができる。
望ましくは、シーン判定部は、第1の判定処理によって対象画像の撮影シーンが屋外ではないと判定した場合、対象画像の画素値の大きさを代表する画像レベル及び対象画像の構成色間の比率のうち少なくともいずれか一方に基づいて対象画像の撮影シーンを判定する第2の判定処理を行う。
本態様によれば、第2の判定処理に基づいて撮影シーンを更に精度良く判定することができる。
望ましくは、シーン判定部は、第2の判定処理において、画像レベルの大きさを示す画像レベル値が判定閾値よりも大きければ対象画像の撮影シーンを屋外と判定する。
本態様によれば、画像レベル値と判定閾値との比較によって簡便に撮影シーンを判定することができる。
望ましくは、判定閾値は、対象画像の構成色間の比率に応じて定められる。
本発明の他の態様は、撮像素子と、上記の画像処理装置とを備え、撮像素子から出力される画像を対象画像とする撮像装置に関する。
本発明の他の態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得するステップと、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定するステップと、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行うステップと、対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定するステップとを備える画像処理方法に関する。
本発明の他の態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する手順と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行う手順と、対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラムに関する。
本発明の他の態様は、着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、対象画像を撮影した際に使用されたレンズ部から絞り値が取得できるか否かを判定する手順と、絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行う手順と、対象画像の撮影シーンが屋外か否かの判定結果に基づいて、対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
本発明によれば、絞り値が取得できない場合であっても、少なくとも対象画像に基づいて撮影シーンが判定され、ホワイトバランスの調整パラメータが決定される。したがってレンズ交換式のデジタルカメラで撮影された画像に対し、撮影の際の絞り値の情報をレンズ部から得られない場合であってもWB処理を精度良く行うことができる。
図1は、コンピュータに接続されるデジタルカメラの一例を示すブロック図である。 図2は、デジタルカメラの他の例を示すブロック図である。 図3は、本体側コントローラの構成例を示すブロック図である。 図4は、画像処理部の適用例を示すブロック図であり、(a)はコンピュータに画像処理部を適用した例を示し、(b)はサーバに画像処理部を適用した例を示す。 図5は、画像処理部の機能構成の一例を示すブロック図である。 図6は、レンズ部と本体部との間の通信を説明するための概念図であり、(a)はレンズ部と本体部との間で適切な通信が確立されている例を示し、(b)はレンズ部と本体部との間で通信を行うことができない例を示す。 図7は、第1実施形態に係るWB処理部の機能構成例を示すブロック図である。 図8は、第1実施形態に係るWB処理の一例を示すフローチャートである。 図9は、対象画像の画像レベルと屋外確率との関係例を示す図である。 図10は、対象画像の色特性と第1の基準閾値及び第2の基準閾値との関係例を示す図である。 図11は、黒体放射曲線を示す図である。 図12は、第2実施形態に係るWB処理の一例を示すフローチャートである。 図13は、第3実施形態に係るWB処理部の機能構成例を示すブロック図である。 図14は、第3実施形態に係るWB処理の一例を示すフローチャートである。 図15は、第4実施形態に係るWB処理の一例を示すフローチャートである。 図16は、撮影の際に使用された絞り値、推定された絞り値、及び被写体の輝度値(EV値(Exposure Value))の関係例を示す図である。 図17は、本発明の撮像装置の一実施形態であるスマートフォンの外観を示す図である。 図18は、図17に示すスマートフォンの構成を示すブロック図である。
添付図面を参照して本発明の実施形態について説明する。以下の実施形態では、一例として、デジタルカメラ(撮像装置)に本発明を適用する場合について説明する。なお、以下の説明における「WB」の表記は「ホワイトバランス」を意味するものとして使われている。
図1は、コンピュータ92に接続されるデジタルカメラ10の一例を示すブロック図である。
本例のデジタルカメラ10は、交換可能なレンズ部11と、撮像素子24を具備する本体部12とを備え、レンズ部11のレンズ側入出力部18と本体部12の本体側入出力部28とを介し、レンズ部11と本体部12とが電気的に接続される。
レンズ部11は、レンズ13及び絞り14を含む光学系と、この光学系を制御する光学系操作部15とを具備する。光学系操作部15は、レンズ側入出力部18に接続されるレンズ側コントローラ16と、光学系情報等の各種情報を記憶するレンズ記憶部17と、ユーザが直接的に操作可能な絞り調整部19及びフォーカス調整部21と、レンズ保持部23を介してレンズ13を移動可能なレンズ駆動部22とを含む。
レンズ側コントローラ16は、本体部12からレンズ側入出力部18を介して送られてくる制御信号に基づき光学系の駆動を制御し、例えばレンズ駆動部22をコントロールすることでフォーカス制御やズーム制御を行ったり、絞り14の開度(すなわち絞り値)を変えられる絞り駆動部20をコントロールして絞り量制御を行ったりする。以下の説明では絞り値としてF値が用いられる。
なおユーザがフォーカス調整部21や絞り調整部19を直接操作することで、フォーカス制御や絞り量制御を行うことも可能である。例えば、リング及びセンサ等によって構成可能なフォーカス調整部21をユーザが操作することで、フォーカス調整部21がユーザの操作量に応じたフォーカス操作信号をレンズ側コントローラ16に送信し、レンズ側コントローラ16がそのフォーカス操作信号に応じてレンズ駆動部22をコントロールしてもよい。またリング及びセンサ等によって構成可能な絞り調整部19をユーザが操作することで、絞り調整部19がユーザの操作量に応じた絞り操作信号をレンズ側コントローラ16に送信し、レンズ側コントローラ16がその絞り操作信号に応じて絞り駆動部20をコントロールしてもよい。なお図示は省略するが、ユーザが直接的に操作可能なズーム調整部を光学系操作部15に設けてもよく、レンズ側コントローラ16は、ユーザによる操作量を示すズーム操作信号をズーム調整部から受信してレンズ13を移動させて焦点距離を調整してもよい。
またレンズ側コントローラ16は、本体部12からレンズ側入出力部18を介して送られてくる制御信号に基づき、レンズ記憶部17に記憶される各種情報を読み出して本体部12(本体側コントローラ25)に送信する。例えば画像撮影時の絞り値や焦点距離の情報を、レンズ側コントローラ16から本体部12(本体側コントローラ25)に送ることもできる。
一方、本体部12の撮像素子24は、集光用マイクロレンズと、R(赤)G(緑)B(青)等のカラーフィルタと、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等によって構成されるイメージセンサとを有する。この撮像素子24は、レンズ部11の光学系(レンズ13及び絞り14等)を介して照射される被写体像の光を電気信号に変換し、画像信号(画像データ)を本体側コントローラ25に送る。
本体側コントローラ25は、詳細については後述するが(図3参照)、デジタルカメラ10の各部を統括的に制御するデバイス制御部としての機能と、撮像素子24から送られてくる画像データの画像処理を行う画像処理部(画像処理装置)としての機能とを有する。
デジタルカメラ10は、更に、撮影等に必要なその他の機器(レリーズボタン等)を具備し、それらの機器の一部はユーザによって確認及び操作可能なユーザインターフェース26を構成する。ユーザは、表示部を含むユーザインターフェース26を介し、撮影等のための各種設定の決定及び変更、撮影指示、及びライブビュー画像及び撮影画像の確認等を行うことができる。ユーザインターフェース26は本体側コントローラ25に接続され、ユーザによって決定及び変更された各種設定及び各種指示が本体側コントローラ25における各種処理に反映される。
本体側コントローラ25において処理された画像データは、本体部12に設けられる本体記憶部29に記憶され、必要に応じ、入出力インターフェース30を介してコンピュータ92等の外部機器に送られる。本体記憶部29は任意のメモリデバイスによって構成され、交換可能なメモリが好適に用いられる。本体側コントローラ25から出力される画像データのフォーマットは特に限定されず、RAW、JPEG(Joint Photographic Experts Group)、及び/又はTIFF(Tagged Image File Format)等のフォーマットを持つ画像データを、本体側コントローラ25は生成及び出力することができる。また本体側コントローラ25は、所謂Exif(Exchangeable Image File Format)のように、ヘッダ情報(撮影情報(撮影日時、機種、画素数及び絞り値等)等)、主画像データ及びサムネイル画像データ等の複数の関連データを相互に対応づけて1つの画像ファイルとして構成し、その画像ファイルを出力してもよい。
コンピュータ92は、本体部12の入出力インターフェース30及びコンピュータ入出力部93を介してデジタルカメラ10に接続され、本体部12から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ94は、コンピュータ92を統括的に制御し、デジタルカメラ10からの画像データを処理し、インターネット等のネットワーク96を介してコンピュータ入出力部93に接続されるサーバ97等との通信を制御する。コンピュータ92はディスプレイ95を有し、コンピュータコントローラ94における処理内容等が必要に応じてディスプレイ95に表示される。ユーザは、ディスプレイ95の表示を確認しながらキーボード等の入力手段(図示省略)を操作することで、コンピュータコントローラ94にデータやコマンドを入力することができる。これによりユーザは、コンピュータ92や、コンピュータ92に接続される機器(デジタルカメラ10及びサーバ97等)を制御することができる。
サーバ97は、サーバ入出力部98及びサーバコントローラ99を有する。サーバ入出力部98は、コンピュータ92等の外部機器との送受信接続部を構成し、インターネット等のネットワーク96を介してコンピュータ92のコンピュータ入出力部93に接続される。サーバコントローラ99は、コンピュータ92からの制御指示信号に応じ、コンピュータコントローラ94と協働し、コンピュータコントローラ94との間で必要に応じてデータ類の送受信を行い、演算処理を行ってその演算結果をコンピュータ92に送信する。
各コントローラ(レンズ側コントローラ16、本体側コントローラ25、コンピュータコントローラ94及びサーバコントローラ99)は、制御処理に必要な回路類を有し、例えば演算処理回路(CPU(Central Processing Unit)等)やメモリ等を具備する。またデジタルカメラ10、コンピュータ92及びサーバ97間の通信は、有線通信であってもよいし無線通信であってもよい。またコンピュータ92及びサーバ97が一体的に構成されてもよく、またコンピュータ92及び/又はサーバ97が省略されてもよい。またデジタルカメラ10にサーバ97との通信機能を持たせ、デジタルカメラ10とサーバ97との間で直接的にデータ類の送受信が行われるようにしてもよい。
図2は、デジタルカメラ10の他の例を示すブロック図である。図1には、本体部12に対して通信可能なレンズ部11が本体部12に装着される例が示されているが、通信機能を持たないレンズ部11が本体部12に装着されてもよい。図2に示すデジタルカメラ10では、レンズアダプタ38を介して本体部12にレンズ部11が装着されている。このレンズ部11の具体的な構成は特に限定されないが、図2に示す例では、リング等によって構成される絞り調整部19及びフォーカス調整部21がレンズ部11に設けられている。ユーザが絞り調整部19を操作すると、絞り調整部19の動作と連動する絞り駆動部20によって絞り14の開度(絞り値)が変えられる。またユーザがフォーカス調整部21を操作すると、フォーカス調整部21の動作と連動してレンズ保持部23及びレンズ13が移動してフォーカス状態を変えられる。
図3は、本体側コントローラ25の構成例を示すブロック図である。本体側コントローラ25は、デバイス制御部34及び画像処理部35を有し、本体部12及びレンズ部11を統括的に制御する。
デバイス制御部34はデジタルカメラ10が具備する各種デバイス類を適宜制御し、例えば、撮像素子24を制御して撮像素子24からの画像信号(画像データ)の出力をコントロールし、レンズ部11を制御するための制御信号を生成して本体側入出力部28を介してレンズ部11(レンズ側コントローラ16)に送信し、画像処理前後の画像データ(RAWデータ及びJPEGデータ等)を本体記憶部29に記憶し、入出力インターフェース30を介して接続される外部機器(コンピュータ92等)に画像処理前後の画像データを送信する。
一方、画像処理部35は、撮像素子24から出力される画像信号を「対象画像」として、必要に応じた任意の画像処理を行う。例えばセンサ補正処理、デモザイク処理、画素補間処理、色補正処理(オフセット補正処理、カラーマトリクス処理、及びガンマ変換処理等)、RGB画像処理(シャープネス処理、トーン補正処理、露出補正処理及び輪郭補正処理等)、RGB/YCrCb変換処理及び画像圧縮処理、等の各種の画像処理が、画像処理部35において適宜行われる。特に本例の画像処理部35は、後述のように、対象画像のWB処理を行う。
なお、以下に説明する画像処理部35は本体部12(デジタルカメラ10)以外の機器に設けられてもよく、例えばコンピュータ92やサーバ97が画像処理部35を具備していてもよい。したがって、例えばコンピュータコントローラ94が画像処理部35を有していてもよいし(図4(a)参照)、サーバコントローラ99が画像処理部35を有していてもよい(図4(b)参照)。
図5は、画像処理部35の機能構成の一例を示すブロック図である。画像処理部35は、対象画像のWB処理を行うWB処理部40と、WB処理部40の前段に設けられる前処理部41と、WB処理部40の後段に設けられる後処理部42とを有する。前処理部41及び後処理部42における具体的な処理内容は特に限定されず、前処理部41における処理を受けた後の対象画像がWB処理部40に入力され、WB処理部40においてWB処理を受けた後の対象画像が後処理部42における処理を受ける。
以下、WB処理部40におけるWB処理の詳細について説明する。
図6は、レンズ部11と本体部12との間の通信を説明するための概念図であり、(a)はレンズ部11と本体部12との間で適切な通信が確立されている例を示し、(b)はレンズ部11と本体部12との間で通信を行うことができない例を示す。
図6(a)に示すように、レンズ部11と本体部12との間で通信Gを適切に行うことができるケースでは、本体部12はレンズ部11から各種の情報を取得することができる。したがって本体部12は、対象画像を撮影した際の絞り値をレンズ部11から取得し、対象画像を撮影した際に設定されていたシャッタースピード及び感度を取得し、それらの絞り値、シャッタースピード及び感度に基づいて被写体44の明るさを示す輝度情報を取得し、その輝度情報に基づいてAWB処理を行うことができる。
一方、図6(b)に示すように、レンズ部11と本体部12との間で通信Gを適切に行うことができないケースでは、本体部12はレンズ部11から各種の情報を取得することができない。そのため本体部12は、対象画像を撮影した際の絞り値をレンズ部11から取得することができず、TTL(Through The Lens)方式による測光ができず、被写体44の明るさを示す輝度情報に基づくAWB処理を行うことが難しい。
この「レンズ部11と本体部12との間で通信Gを適切に行うことができないケース」は特に限定されず、様々なケースが想定される。例えば、「本体部12の通信プロトコルに則ったレンズ部11が本体部12に装着されているが、本体側コントローラ25とレンズ側コントローラ16との間の通信に障害が生じているケース」が「レンズ部11と本体部12との間で通信Gを適切に行うことができないケース」に該当する。また「本体部12の通信プロトコルとは異なるプロトコルに則った通信を行うレンズ部11や通信機能を本来的に持たないレンズ部11が本体部12に装着されているケース」も「レンズ部11と本体部12との間で通信Gを適切に行うことができないケース」に該当する。したがって、例えばオールドレンズやサードパーティー製のレンズによって構成されるレンズ部11が本体部12に装着されて撮影取得された対象画像に対し、下述のAWB処理技術は好適に適用可能である。
以下の各実施形態に係るWB処理部40は、レンズ部11と本体部12との間で通信Gを適切に行うことができず(図6(b)参照)、対象画像を撮影した際の絞り値をレンズ部11から取得できない場合であっても、撮影シーンを判別してWB処理を精度良く行うことができる。
<第1実施形態>
図7は、第1実施形態に係るWB処理部40の機能構成例を示すブロック図である。
本実施形態に係るWB処理部40は、画像取得部46、絞り値判定部47、夜間判定情報取得部48、シーン判定部49、パラメータ決定部50及びWB実行部51を有する。
画像取得部46は、着脱可能なレンズ部11が本体部12に装着されたデジタルカメラ10により撮像された対象画像を取得する。画像取得部46による対象画像の取得手法は特に限定されず、例えば撮像素子24から出力された対象画像の画像信号が直接的に画像取得部46(WB処理部40)に入力されてもよいし、図示しないメモリ等に一旦蓄積された対象画像のデータが画像取得部46(画像処理部35)によって取得されてもよい。
絞り値判定部47は、絞り値取得情報に基づいて、対象画像を撮影した際に使用されたレンズ部11から絞り値(F値)が取得できるか否かを判定する。レンズ部11から絞り値が取得できるか否かを判定する手法は特に限定されず、絞り値判定部47は、デジタルカメラ10を構成する任意の箇所から絞り値取得情報を取得することができる。絞り値取得情報は、レンズ部11と本体部12との間の通信状態を示す情報であってもよく、例えば本体部12(本体側入出力部28)と通信可能なレンズ部11(レンズ側入出力部18)が本体部12に装着されたか否かを示す情報を含んでいてもよい。例えば本体部12にレンズ部11が装着されて本体部12の電源がオンにされた際に、本体側コントローラ25はレンズ部11と本体部12との間の通信の可否情報を取得し、その通信の可否情報を絞り値取得情報に含めてもよい。
絞り値判定部47による判定結果を示す絞り値判定情報は、シーン判定部49に送られる。この絞り値取得情報は、例えばレンズ部11から絞り値が取得できない場合には絞り値が取得できないことを示し、レンズ部11から絞り値が取得できる場合には対象画像を撮影した際に使用されたレンズ部11の絞り値を示す。
夜間判定情報取得部48は、対象画像の撮影が夜間に行われたか否かの判定のために使用される情報である夜間判定基礎情報を取得する。この夜間判定基礎情報は、特に限定されず、図示しないタイマーから取得される撮影日時情報及び図示しないGPS(Global Positioning System)から取得される撮影地情報等を含んでいてもよい。また夜間判定基礎情報は、撮影モードに関する情報を含んでいてもよく、その撮影モードが夜景モード等のように対象画像の撮影が夜間に行われたことを直接的又は間接的に示す場合には、対象画像の撮影が夜間に行われたと判定することが可能である。
シーン判定部49は、画像取得部46から対象画像が入力され、絞り値判定部47から絞り値判定情報が入力され、夜間判定情報取得部48から夜間判定基礎情報が入力され、対象画像の撮影シーン(光源)を判定する。なおシーン判定部49が、画像取得部46、絞り値判定部47及び/又は夜間判定情報取得部48として機能してもよく、対象画像、絞り値取得情報及び/又は夜間判定基礎情報がシーン判定部49に直接的に入力されてもよい。
撮影シーンの具体的な判定手法については後述するが、本実施形態のシーン判定部49は、特に対象画像の撮影の際の絞り値が取得できないと判定される場合には、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行う。すなわちシーン判定部49は、対象画像の解析を行い、この解析の結果に基づいて対象画像の撮影シーンが屋外か否かを判定する。シーン判定部49は、例えば対象画像における被写体の形状、色、配置、面積及び空間周波数に基づく要素のうち少なくともいずれか1つの要素に基づいて対象画像の解析を行うことができる。例えば後述の例(図8参照)では、シーン判定部49が、対象画像を撮影した際の焦点距離を取得し、対象画像の解析を行って被写体の特徴情報を取得し、焦点距離及び特徴情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
シーン判定部49によって判定された対象画像の撮影シーンを示すシーン情報は、対象画像とともにシーン判定部49からパラメータ決定部50に送られる。
パラメータ決定部50は、対象画像の撮影シーンを示すシーン情報に基づいて、対象画像のホワイトバランスの調整パラメータであるWBゲインを決定する。特に本実施形態のパラメータ決定部50は、シーン判定部49による「対象画像の撮影シーンが屋外か否かの判定結果」に基づいて、WBゲインを決定する。パラメータ決定部50によって決定されたWBゲインは、対象画像とともにパラメータ決定部50からWB実行部51に送られる。
WB実行部51は、WBゲインを対象画像に適用してWB処理画像を生成及び出力する。WB実行部51から出力されるWB処理画像(対象画像)は、後段に設けられる後処理部42に入力される。
図8は、第1実施形態に係るWB処理の一例を示すフローチャートである。本例では、絞り値が得られない場合、レンズ部11の「焦点距離」の情報と画像解析によって得られる「画像中の被写体のサイズ」とに基づいて被写体距離が推定され、被写体距離が大きい場合には屋外用のWBゲインを使ってWB処理が行われる。
すなわち、まず本体部12の本体側コントローラ25は、レンズ部11のレンズ側コントローラ16に対して通信を試みて、本体側コントローラ25のWB処理部40の絞り値判定部47は対象画像を撮影した際の絞り値を取得する処理を行う(図8のS11)。
本体部12に対する通信機能を持つレンズ部11が本体部12に装着され、対象画像を撮影した際の絞り値が絞り値判定部47によって得られた場合(S12のY)、シーン判定部49は、通常のAWB処理を行う。すなわちシーン判定部49は、対象画像を撮影した際の絞り値に基づいて被写体の明るさ情報として輝度情報を取得し、またWB処理の対象となっている対象画像を取得する(S13)。
この被写体の輝度情報は、例えば撮影画像、絞り値、シャッタースピード及び感度に基づいて取得可能であるが、被写体の輝度情報を取得するために使用される撮影画像は、WB処理の対象となっている対象画像であってもよいし、対象画像と同じ光源下で取得される他の画像であってもよい。例えばデジタルカメラ10(本体部12)のシャッターボタン(ユーザインターフェース26)のプッシュ動作が2段階に設定されている場合、シーン判定部49は、シャッターボタンの「全押し(すなわち2段階目のプッシュ動作)」によって撮像素子24から出力される画像データである「WB処理の対象となっている対象画像」を使って被写体の輝度情報を取得してもよい。またシーン判定部49は、シャッターボタンの「半押し(すなわち1段階目のプッシュ動作)」によって撮像素子24から出力される画像データである「WB処理の対象となっている対象画像とは異なる画像」を使って被写体の輝度情報を取得してもよい。シーン判定部49は、これらの画像データを例えば画像取得部46を介して取得することができる。
そしてシーン判定部49は、被写体の輝度情報及び対象画像に基づいて、対象画像を撮影した際の光源を推定し(S14)、その推定される光源に応じた撮影シーンを示すシーン情報を取得する。シーン情報は、対象画像とともにシーン判定部49からパラメータ決定部50に送られ、パラメータ決定部50は、対象画像を取得した際の光源に応じたWBゲインをシーン情報に基づいて取得し、その取得したWBゲインを対象画像とともにWB実行部51に送る。そしてWB実行部51では、WBゲインが対象画像に適用されてWB処理が行われ、WB処理画像が生成される(S15)。
なお、絞り値が得られた場合における上述の処理ステップS13〜S15の具体的な処理は特に限定されず、他の一般的に行われているAWB処理のフローに従って「絞り値に基づく対象画像のWB処理」が行われてもよい。
一方、上述の処理ステップS11によって絞り値が得られなかった場合(S12のN)、シーン判定部49は、対象画像を撮影した際のレンズ部11の焦点距離が得られたか否かを判定する(S16)。シーン判定部49による焦点距離の取得手法は特に限定されない。例えばレンズ部11が単焦点レンズによって構成される場合のようにレンズ部11の焦点距離が固定的に定められている場合、ユーザがユーザインターフェース26を介して本体側コントローラ25の図示しないメモリにレンズ部11の焦点距離の情報を記録しておき、シーン判定部49がそのメモリに記録された焦点距離の情報を読み込むことで取得してもよい。
対象画像を撮影した際の焦点距離が得られた場合(S16のY)、シーン判定部49はWB処理の対象となっている対象画像を取得し(S17)、対象画像に基づいて被写体認識処理を行う(S18)。
本例の被写体認識処理は、特定の被写体が対象画像に含まれているか否かを認識するための処理であり、具体的な手法は特に限定されず、シーン判定部49は、被写体認識処理に従って対象画像の解析を行って被写体の特徴情報を取得する。そのような特徴情報は、例えば予め定められる範囲内のサイズを有する被写体の対象画像におけるサイズに関する情報としうる。したがってシーン判定部49は、例えば人間等の顔、車、建造物(例えば有名な建造物及び形状等の形態が特徴的な建造物、等)及び空(例えば青空等)のうちの少なくともいずれか1つの被写体の対象画像におけるサイズに関する情報を、特徴情報として取得してもよい。
そしてシーン判定部49は、「対象画像を撮影した際のレンズ部11の焦点距離」及び「被写体認識処理結果である特徴情報」に基づいて被写体距離Dを取得する(S19)。例えば、特徴情報の対象となっている被写体の「本来のサイズ」と特徴情報から得られる「対象画像中のサイズ」とを比較し、「対象画像を撮影した際のレンズ部11の焦点距離(画角)」を考慮することで、被写体距離Dを取得することが可能である。
シーン判定部49は被写体距離Dに基づいて対象画像の撮影シーンが屋外か否かを判定し、被写体距離Dが第1の閾値α以上の場合(S20のY)、対象画像の撮影シーンは「屋外」であると判定し、被写体距離Dが第1の閾値αよりも小さい場合(S20のN)、対象画像の撮影シーンは「屋内」であると判定する。第1の閾値αは特に限定されないが、例えば第1の閾値αを300m(メートル)としてもよく、被写体距離Dが300m以上の場合に対象画像の撮影シーンを「屋外」と判定することも可能である。
対象画像の撮影シーンが「屋外」であると判定される場合(S20のY)、本例のシーン判定部49は更に、対象画像の撮影が夜間に行われたか否かを判定する夜間判定処理を行う(S21)。この夜間判定処理の具体的な手法は特に限定されず、シーン判定部49は夜間判定情報取得部48から入力される夜間判定基礎情報に基づいて夜間判定処理を行うことができ、例えば夜間判定基礎情報に含まれる「対象画像の撮影日時情報」、「撮影地情報」及び/又は「撮影モード」に基づいて夜間判定処理が行われてもよい。またシーン判定部49は夜間判定基礎情報以外の情報に基づいて夜間判定処理を行ってもよく、例えば対象画像が極端に暗い場合には対象画像の撮影が「夜間」に行われたと判定してもよい。
対象画像の撮影が夜間に行われたと判定される場合(S22のY)、シーン判定部49は「対象画像の撮影が屋外且つ夜間に行われたことを示すシーン情報」を対象画像とともにパラメータ決定部50に送る。パラメータ決定部50は、シーン情報に基づいて「夜間屋外用のWBゲイン」を特定して対象画像とともにWB実行部51に送り、WB実行部51により夜間屋外用のWBゲインが対象画像に適用されてWB処理が行われる(S23)。
一方、対象画像の撮影が夜間に行われたと判定されない場合(S22のN)、シーン判定部49は「対象画像の撮影が屋外且つ日中に行われたことを示すシーン情報」を対象画像とともにパラメータ決定部50に送る。パラメータ決定部50は、シーン情報に基づいて「日中屋外用のWBゲイン」を特定して対象画像とともにWB実行部51に送り、WB実行部51により日中屋外用のWBゲインが対象画像に適用されてWB処理が行われる(S24)。
なお上述の例における夜間判定処理は「対象画像の撮影が夜間に行われたか否かを判定する処理」であったが、これに限定されず、「夜間及び日中のうちいずれにおいて対象画像の撮影が行われたかを判定する処理」であればよい。したがって夜間判定処理の代わりに、「対象画像の撮影が日中に行われたか否かを判定する日中判定処理」が行われてもよい。この日中判定処理は、上述の夜間判定基礎情報と同じ情報に基づいて行われてもよい。この日中判定処理によって対象画像の撮影が日中に行われたと判定されるケースでは日中屋外用WBゲインが対象画像に適用されてWB処理が行われ(処理ステップS24参照)、対象画像の撮影が日中に行われたと判定されないケースでは夜間屋外用WBゲインが対象画像に適用されてWB処理が行われる(処理ステップS23参照)。
一方、上述の処理ステップS16において対象画像を撮影した際の焦点距離が得られない場合(S16のN)、WB処理の対象となっている対象画像がシーン判定部49によって取得される(S25)。そして「対象画像の撮影が屋内で行われたことを示すシーン情報」が対象画像とともにシーン判定部49からパラメータ決定部50に送られ、屋内用WBゲインがパラメータ決定部50によって特定される。そして、WB実行部51によって屋内用WBゲインが対象画像に適用されてWB処理が行われる(S26)。なお上述の処理ステップS20において、被写体距離Dが第1の閾値αよりも小さいと判定される場合(S20のN)にも、同様にして、屋内用WBゲインが対象画像に適用されてWB処理が行われる(S26)。
上述のように本例の処理フローでは、処理ステップS13、S17及びS25が「対象画像を取得するステップ」に該当し、少なくとも処理ステップS18〜S20が「絞り値が取得できないと判定される場合に、少なくとも対象画像に基づいて、対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行うステップ」に該当する。また処理ステップS15、S23、S24及びS26が「対象画像の撮影シーンが屋外か否かの判定に基づいて対象画像のホワイトバランスの調整パラメータを決定するステップ」に該当する。
以上説明したように本実施形態によれば、対象画像を撮影した際の絞り値の情報がレンズ部11から得られなくても、AWB処理を高精度に行って良好な画質を有する画像(WB処理画像)を得ることができる。
なお上述の例では、対象画像を撮影した際の絞り値及び焦点距離が得られない場合(S12のN、S16のN)や推定される被写体距離Dが第1の閾値αよりも小さい場合(S20のN)には、屋内用WBゲインを使ったWB処理が行われるが、他のWBゲインを使ったWB処理が行われてもよい。
以下、処理ステップS26におけるWB処理(特にWBゲインの決定手法)の他の例について説明する。
シーン判定部49は、上述の第1の判定処理によって対象画像の撮影シーンが屋外ではないと判定した場合、「対象画像の画素値の大きさを代表する画像レベル」及び「対象画像の構成色間の比率」のうち少なくともいずれか一方に基づいて対象画像の撮影シーンを判定する第2の判定処理を更に行ってもよい。この第2の判定処理は、絞り値を使わずに対象画像の撮影シーン(光源)を推定する処理であることが好ましい。したがって上述の処理ステップS26の代わりに、シーン判定部49が第2の判定処理を行って対象画像の撮影シーンを判定し、パラメータ決定部50がその判定された撮影シーンに応じたWBゲインを取得し、WB実行部51がその取得されたWBゲインを用いてWB処理を行ってもよい。
より具体的には、シーン判定部49は、第2の判定処理において対象画像の画像レベルの大きさを示す画像レベル値が判定閾値よりも大きければ対象画像の撮影シーンを屋外と判定してもよいし、対象画像の画像レベル値が判定閾値以下であれば対象画像の撮影シーンを屋内と判定してもよい。そしてシーン判定部49によって撮影シーンが屋外と判定された場合には、パラメータ決定部50は屋外用のWBゲイン(調整パラメータ)を特定し、WB実行部51は屋外用のWBゲインを使ってWB処理を行うことができる。一方、シーン判定部49によって撮影シーンが屋内と判定された場合には、パラメータ決定部50は屋内用のWBゲイン(調整パラメータ)を特定し、WB実行部51は屋内用のWBゲインを使ってWB処理を行うことができる。
なお、ここでいう「対象画像の画素値の大きさを代表する画像レベル」は特に限定されず、例えば対象画像の画素値の平均値、中央値、最大値、最小値、或いは対象画像を複数領域に分割して領域毎に得られる画素値の代表値等に基づいて定められうる。またここでいう「対象画像の構成色間の比率」も特に限定されず、例えば対象画像のRGB比、色差比(例えばCrCb比)、或いは色温度(例えば相関色温度)等によって表される対象画像の色特性に基づいて定められうる。
またシーン判定部49は、対象画像の構成色間の比率に応じて判定閾値を可変的に定めてもよい。例えば、赤みが強い対象画像と青みが強い対象画像との間で判定閾値を変えて第2の判定処理が行われてもよい。このように対象画像の色特性に応じて判定閾値を決めることで、対象画像の撮影シーンを精度良く判定できる。
またシーン判定部49は、第2の判定処理において、対象画像の撮影シーンが屋外である確率を直接的又は間接的に示す「屋外確率」を取得し、パラメータ決定部50は、その屋外確率に基づいて、対象画像のホワイトバランスの調整パラメータであるWBゲインを決定してもよい。
この屋外確率を取得する手法は特に限定されず、例えば、対象画像の画像レベル及び構成色間の比率に基づいて対象画像の撮影シーンの屋外確率を取得することができる。
また屋外確率に基づいてWBゲインを決定する手法も特に限定されず、例えば、撮影シーンの屋外確率が特定の基準確率よりも大きければ屋外用のWBゲインがWB処理で用いられ、撮影シーンの屋外確率が基準確率以下であれば屋内用のWBゲインがWB処理で用いられてもよい。また撮影シーンの屋外確率に応じて、複数種類のWBゲイン(例えば複数の撮影シーンに応じたWBゲイン(例えば屋外用のWBゲイン及び屋内用のWBゲイン))を混合することで、対象画像のWB処理に用いるWBゲインが決定されてもよい。
図9は、対象画像の画像レベルと屋外確率との関係例を示す図である。図9において横軸は対象画像の画像レベルを表し、図9の縦軸は対象画像の屋外確率を表し、画像レベル及び屋外確率の関係を表すシーン特性が図9に例示されている。図9に示す例では、第1の基準確率に割り当てられる第1の基準閾値TH1と、第1の基準確率よりも低い屋外確率を示す第2の基準確率に割り当てられる第2の基準閾値TH2とに基づいてシーン特性が規定されている。本例において、第1の基準確率は「屋外確率=100%」を示し、第2の基準確率は「屋外確率=20%」を示し、第1の基準閾値TH1と第2の基準閾値TH2との間の画像レベルに割り当てられる屋外確率は、第1の基準確率と第2の基準確率との間で比例的且つ連続的に変化する。このように複数の基準閾値を用いる場合に、基準閾値間の画像レベルに割り当てられる屋外確率を連続的に変えることで、対象画像のホワイトバランスを屋内シーンと屋外シーンとの間で滑らかに調整することができ、ホワイトバランスのハンチングを有効に防ぐことができる。
シーン判定部49は、第2の判定処理において、対象画像の画像レベル及び対象画像の構成色間の比率のうち少なくともいずれか一方に基づいて第1の基準閾値TH1及び第2の基準閾値TH2を特定してもよい。この場合、シーン判定部49は、第1の基準閾値TH1、第2の基準閾値TH2、第1の基準確率及び第2の基準確率に基づいて定められるシーン特性(図9参照)に応じて、対象画像の撮影シーンの屋外確率を取得してもよい。
図10は、対象画像の色特性と第1の基準閾値TH1及び第2の基準閾値TH2との関係例を示す図である。図10に示す例によれば、対象画像の色特性に応じて第1の基準閾値TH1及び第2の基準閾値TH2を定めることができる。
例えば対象画像の撮影シーンの色温度を図10の横軸の基準である色特性とする場合、シーン判定部49は、例えば対象画像のRGB等の信号レベルを取得し、信号レベルのRGBの比などから対象画像の撮影シーンの色温度を取得し、図10に基づいて、対象画像の撮影シーンの色温度に対応する第1の基準閾値TH1及び第2の基準閾値TH2を取得する。シーン判定部49は、取得した第1の基準閾値TH1及び第2の基準閾値TH2に基づいて図9に示すシーン特性を定め、対象画像の画像レベルに対応する屋外確率を取得し、この屋外確率が反映されたシーン情報がシーン判定部49からパラメータ決定部50に送られる。パラメータ決定部50は、屋外確率に基づいて、例えば屋外用のWBゲイン(第1のパラメータ)及び屋内用WBゲイン(第2のパラメータ)を混合して対象画像のWB処理に使用するWBゲイン(調整パラメータ)決定することができる。一例として、屋外確率が「20%」を示す場合には、「屋外用WBゲイン:屋内用WBゲイン=20%:80%」の比率で屋外用WBゲイン及び屋内用WBゲインを混合して得られるWBゲインをWB処理に用いることができる。また屋外確率が「100%」を示す場合には、「屋外用WBゲイン:屋内用WBゲイン=100%:0%」の比率に基づいて得られるWBゲインをWB処理に用いることができる。
このように、第1の基準閾値TH1及び第2の基準閾値TH2のうち少なくともいずれか一方は、対象画像の構成色間の比率に応じて決定可能であり、例えば「黒体から放射される光の色」を基準にして対象画像の構成色によって定められる色特性を取得し、その色特性に応じて第1の基準閾値TH1及び第2の基準閾値TH2を定めてもよい。
図11は、黒体放射曲線を示す図である。図11の横軸は緑(G)成分に対する赤(R)成分の比率「R/G」を表し、図11の縦軸は緑(G)成分に対する青(B)成分の比率「B/G」を表す。図11には、相関色温度「10000K(ケルビン)」、「5000K」及び「2500K」の各々が直線によって表されている。
シーン判定部49は、第2の判定処理において、対象画像の構成色比から撮影シーンの相関色温度を取得し(図11参照)、図10の横軸の色特性が相関色温度によって表される場合に撮影シーンの相関色温度に応じて特定される第1の基準閾値TH1及び第2の基準閾値TH2を取得してもよい。この場合、シーン判定部49は、第1の基準閾値TH1及び第2の基準閾値TH2に基づいて特定される図9のシーン特性から対象画像の画像レベルに応じた屋外確率を取得することができる。
<第2実施形態>
本実施形態において、上述の第1実施形態に係るデジタルカメラ10(特にWB処理部40)と同一又は類似の要素については同一の符号を付し、その詳細な説明は省略する。
本実施形態に係るWB処理によれば、対象画像を撮影した際の絞り値の情報だけではなく焦点距離の情報も得られない場合であっても、対象画像の被写体が日中屋外に存在するか否かを判定してWBゲインを決めることができる。
本実施形態のWB処理部40は、上述の第1実施形態と同様に図7に示す機能構成を有する。
図12は、第2実施形態に係るWB処理の一例を示すフローチャートである。
本実施形態においても図8に示す第1実施形態に係る処理フローと同様に、まずWB処理部40の絞り値判定部47は対象画像を撮影した際の絞り値を取得する処理を行う(図12のS31)。
対象画像を撮影した際の絞り値が絞り値判定部47によって得られた場合(S32のY)、第1実施形態に係る処理フロー(特に図8に示す処理ステップS13〜S15)と同様に、絞り値に基づいて被写体の輝度情報が取得され、対象画像が取得され(S33)、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源が推定され(S34)、対象画像のWB処理が行われる(S35)。
一方、対象画像を撮影した際の絞り値が絞り値判定部47によって得られなかった場合(S32のN)、シーン判定部49は、画像取得部46を介して対象画像を取得し(S36)、対象画像に基づいて日中屋外ランドマークの検出処理を行う(S37)。
すなわちシーン判定部49は、対象画像の解析を行って予め定められる日中屋外ランドマーク(第2のキーターゲット)が対象画像に含まれるか否かの評価を行い、その評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。「日中屋外ランドマーク(第2のキーターゲット)」は、「屋外に存在し、通常は日中においてのみ正確に撮影可能な所望の画像」とすることが好ましいが、日中且つ屋外で撮影されたことが推定可能な画像であれば特に限定されない。したがって日中屋外ランドマーク(第2のキーターゲット)は、例えば青空、太陽、虹及び山のうちの少なくともいずれか1つの画像であることが好ましい。
シーン判定部49は、日中屋外ランドマーク(第2のキーターゲット)が対象画像に含まれると評価した場合(S38のY)、対象画像の撮影シーンが日中屋外であると判定し、撮影シーンが日中屋外であることを示すシーン情報をパラメータ決定部50に送る。パラメータ決定部50は、シーン情報が示す撮影シーンに対応する日中屋外用のWBゲインを特定して対象画像とともにWB実行部51に送り、WB実行部51では日中屋外用のWBゲインを使って対象画像のWB処理を行う(S39)。
一方、シーン判定部49は、日中屋外ランドマークが対象画像に含まれないと評価した場合(S38のN)、上述の第1実施形態(特に図8の処理ステップS21)と同様にして夜間判定処理を行う(S40)。対象画像の撮影が夜間に行われたと判定される場合(S41のY)、シーン判定部49は「対象画像の撮影が屋外且つ夜間に行われたことを示すシーン情報」を対象画像とともにパラメータ決定部50に送る。パラメータ決定部50は、シーン情報に基づいて夜間屋外用のWBゲインを特定して対象画像とともにWB実行部51に送り、WB実行部51によって夜間屋外用のWBゲインが対象画像に適用されてWB処理が行われる(S42)。
一方、対象画像の撮影が夜間に行われたと判定されない場合(S41のN)、シーン判定部49は「対象画像の撮影が屋内で行われたことを示すシーン情報」を対象画像とともにパラメータ決定部50に送る。パラメータ決定部50は、シーン情報に基づいて屋内用のWBゲインを特定して対象画像とともにWB実行部51に送り、WB実行部51によって屋内用のWBゲインが対象画像に適用されてWB処理が行われる(S43)。
なお、上述の処理ステップS37では「日中屋外ランドマーク」が対象画像に含まれるか否かが評価されたが、これに限定されず、例えば「夜間屋外ランドマーク」が対象画像に含まれるか否かが評価されてもよい。すなわちシーン判定部49は、夜間且つ屋外で撮影されたことが推定可能な画像を「夜間屋外ランドマーク」として設定して対象画像の解析処理を行ってもよい。「夜間屋外ランドマーク」が対象画像に含まれると評価される場合には、撮影シーンが夜間屋外であることを示すシーン情報がシーン判定部49からパラメータ決定部50に送られ、夜間屋外用のWBゲインがパラメータ決定部50によって特定され、夜間屋外用のWBゲインを使った対象画像のWB処理がWB実行部51によって行われる。
一方、「夜間屋外ランドマーク」が対象画像に含まれないと評価される場合、シーン判定部49は対象画像の撮影が日中行われたか否かを判定する日中判定処理を行ってもよい。この日中判定処理によって対象画像の撮影が日中に行われたと判定されるケースでは日中屋外用WBゲインが対象画像に適用されてWB処理が行われ(処理ステップS39参照)、対象画像の撮影が日中に行われたと判定されないケースでは屋内用WBゲインが対象画像に適用されてWB処理が行われてもよい(処理ステップS43参照)。
以上説明したように本実施形態によれば、対象画像を撮影した際のレンズ部11の絞り値及び焦点距離が不明であっても、AWB処理を高精度に行って良好な画質を有する画像(WB処理画像)を得ることができる。
なお日中屋外ランドマークが対象画像に含まれないと判定される場合(図12の処理ステップS38のN参照)には、夜間判定処理(処理ステップS40参照)の代わりに、第1実施形態と同様に、判定閾値に基づいて対象画像の撮影シーンが判定されてもよいし、屋外確率に基づいて対象画像の撮影シーンが判定されてもよい(図9〜図11参照)。
<第3実施形態>
本実施形態において、上述の第1実施形態に係るデジタルカメラ10(特にWB処理部40)と同一又は類似の要素については同一の符号を付し、その詳細な説明は省略する。
図13は、第3実施形態に係るWB処理部40の機能構成例を示すブロック図である。本実施形態に係るWB処理部40は、基本的には図7に示す第1実施形態と同様の機能構成を有するが、夜間判定情報取得部48を含まない。
図14は、第3実施形態に係るWB処理の一例を示すフローチャートである。
本実施形態においても図8に示す第1実施形態に係る処理フローと同様に、まずWB処理部40の絞り値判定部47は対象画像を撮影した際の絞り値を取得する処理を行う(図14のS51)。
対象画像を撮影した際の絞り値の情報が得られない場合、本実施形態では絞り値が推定されてWB処理が行われる。すなわち本例のシーン判定部49は、対象画像を撮影した際の絞り値として代表絞り値を採用することで、絞り値を推定する。
代表絞り値は特に限定されないが、汎用性の高い絞り値を代表絞り値とすることが好ましい。一般に、通信機能を持たない所謂オールドレンズは、上級ユーザによって使用されることが多く、開放F値が小さい明るいオールドレンズが好んで使われる傾向が強い。また撮影の際に絞りの開度を意図的に小さくするユーザも、初級ユーザよりは上級ユーザの方が多い傾向がある。上級ユーザであれば、AWB処理によるWB調整がたとえ失敗しても、プリセットWBゲインを使う等によって自分でホワイトバランスを修正することも可能である。一方、知識の乏しい初級ユーザは事後的にホワイトバランスの修正を行うことが必ずしも容易ではない。したがって代表絞り値を定める際には、初級ユーザが頻繁に使用するF値に基づくことが好ましい。初級ユーザが撮影の際に使用するF値について本発明の発明者は「F2.8〜F8の範囲」のF値の使用頻度が高いと考え、とりわけ「4以上5.6以下の範囲(特に「4」)」のF値の使用頻度が高いと考え、またレンズ種類に関して普及率が高いレンズのF値として「F4」が使われることが多いと考え、代表絞り値として、「2.8以上8以下の範囲」のF値に対応させることが好ましく、「4以上5.6以下の範囲」のF値に対応させることがより好ましく、「4」のF値に対応させることが更に好ましいと考えた。このように設定することで、所謂オールドレンズやサードパーティレンズを使用した場合であっても適切なAWB処理がなされるため、多くの初級ユーザがオールドレンズやサードパーティレンズを容易に使用できるようになる。
本例のシーン判定部49は、対象画像を撮影した際の絞り値の情報が得られない場合(S52のN)、「絞り値=F4」として絞り値を推定する(S53)。
そして対象画像を撮影した際の絞り値の情報がシーン判定部49によって得られた場合(S52のY)や絞り値が推定された場合(S53)には、第1実施形態に係る処理フロー(特に図8に示す処理ステップS13〜S15)と同様に、絞り値に基づいて被写体の輝度情報が取得され、対象画像が取得され(S54)、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源が推定され(S55)、対象画像のWB処理が行われる(S56)。
このように、対象画像を撮影した際の絞り値の情報が得られない場合、本実施形態のシーン判定部49は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、その輝度情報に基づいて対象画像の撮影シーンが屋外か否かを判定する。
以上説明したように本実施形態によれば、対象画像を撮影した際の絞り値の情報が得られない場合であっても高精度なAWB処理を行うことができ、ホワイトバランスの知識の乏しい初級ユーザであっても高画質な画像(WB処理画像)を得ることができる。
<第4実施形態>
本実施形態において、上述の第3実施形態に係るデジタルカメラ10(特にWB処理部40)と同一又は類似の要素については同一の符号を付し、その詳細な説明は省略する。
本実施形態のWB処理部40は、上述の第3実施形態と同様に図13に示す機能構成を有する。
図15は、第4実施形態に係るWB処理の一例を示すフローチャートである。
すなわち本実施形態においても図14に示す第3実施形態に係る処理フローと同様に、まずWB処理部40の絞り値判定部47は対象画像を撮影した際の絞り値を取得する処理を行う(図15のS61)。
そして対象画像を撮影した際の絞り値の情報がシーン判定部49によって得られた場合(S62のY)には、第1実施形態に係る処理フロー(特に図8に示す処理ステップS13〜S15)と同様に、絞り値に基づいて被写体の輝度情報が取得され、対象画像が取得され(S63)、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源が推定され(S64)、対象画像のWB処理が行われる(S65)。
この「対象画像を撮影した際の絞り値の情報が得られた場合に撮影シーンの光源を推定する方式」を便宜的に「第1の光源推定方式」と呼ぶ。
また対象画像を撮影した際の絞り値の情報がシーン判定部49によって得られない場合(S62のN)、第3実施形態に係る処理フロー(特に図14に示す処理ステップS53及びS54)と同様に、シーン判定部49は、対象画像を撮影した際の絞り値を例えばF2.8〜F8の範囲の代表絞り値(本例では「F4」)に基づいて推定し(S66)、その推定された絞り値に基づいて被写体の輝度情報を取得し、対象画像を取得する(S67)。
ただし本実施形態では、対象画像を撮影した際の絞り値の情報が得られない場合、シーン判定部49は、上述の第1の光源推定方式とは異なる第2の光源推定方式に従い、被写体の輝度情報及び対象画像に基づいて撮影シーンの光源を推定し(S68)、この推定された光源に基づいて対象画像のWB処理が行われる(S65)。例えば、下述のように第2の光源推定方式に従って「青空」が対象画像に含まれている場合には、日中屋外で対象画像の撮影が行われ太陽光を光源と推定し、日中屋外用のWBゲインを使ったWB処理を行うことができる。
第2の光源推定方式として様々な推定アルゴリズムが考えられるが、本例のシーン判定部49は、対象画像の解析を行って、予め定められる目標被写体(第1のキーターゲット)が対象画像に含まれるか否かの評価を、対象画像を撮影した際の絞り値として代表絞り値を採用した場合に基づいて行い、その評価に基づいて対象画像の撮影シーンが屋外か否かを判定する。
より具体的には、シーン判定部49は、対象画像の解析を行って、対象画像を撮影した際の絞り値として代表絞り値を採用した場合における対象画像の被写体の輝度情報を取得し、目標被写体(第1のキーターゲット)が対象画像に含まれるか否かの評価を輝度情報に基づいて行う。この場合、シーン判定部49は、目標被写体(第1のキーターゲット)に割り当てられる輝度を示す輝度条件を代表絞り値に基づいて決定し、被写体の輝度情報がその輝度条件に該当するか否かに基づいて第1のキーターゲットが対象画像に含まれるか否かの評価を行う。
以下、目標被写体(第1のキーターゲット)が青空の画像である場合の第2の光源推定方式の一例について説明する。
図16は、撮影の際に使用された絞り値、推定された絞り値、及び被写体の輝度情報(EV値)の関係例を示す図である。
図16において、「撮影時F値」の項目は撮影の際に使用された絞り値(F値)を示し、「推定F値」の項目は代表絞り値に基づいて推定された絞り値(F値)(図15の処理ステップS66参照)を示し、これらの項目の各々において「1」、「1.4」、「2」、「2.8」、「4」、「5.7」、「8」、「11.3」、「16」、「22.6」及び「32」のF値が示されている。
また「撮影時F値」及び「推定F値」の項目におけるF値の組み合わせによって特定される数値は、「推定F値」に基づいて導出される被写体の輝度値(EV値)を表しており、図16には、実際の被写体の輝度値が「16EV」に相当する例が示されている。したがって上述の処理ステップS66において推定された絞り値が撮影の際に実際に使用された絞り値と等しい場合、図16の表上では「16」の数値が示されている。また「撮影時F値」が「8」であり「推定F値」が「4」の場合、「推定F値」に基づいて導出される被写体の輝度値は「14EV」となり、実際の被写体の輝度値(16EV)よりも2EV相当低く求められることとなる。このように、図16は、「実際の被写体の輝度値(本例では16EV)」に対する「推定された絞り値に基づいて導出される被写体の輝度値」のズレを示す。
本例の第2の光源推定方式(図15の処理ステップS68参照)に基づく光源推定手法は推定された絞り値に基づいて行われるため、第2の光源推定方式で用いられる被写体の輝度情報は、被写体の実際の輝度からのズレを補償する情報であることが好ましい。そのため、「推定F値」及び「撮影の際に使用されるF値として汎用性の高い範囲」から「推定F値に基づいて導出される被写体の輝度値」の範囲(以下、「調整許容輝度範囲」とも称する(図16の範囲A参照))を特定し、その調整許容輝度範囲に基づいて第2の光源推定方式に基づく光源推定を行うことが好ましい。
例えば「実際の被写体の輝度値が16EV以上か否か」を第2の光源推定方式に基づいて判定するケースでは、上述の処理ステップS66において絞り値が「F4」と推定され、撮影の際に使用される絞り値として汎用性の高い範囲が「F2.8〜F8」の範囲であるとする場合、推定F値に基づいて導出される被写体の輝度値は「14EV以上」の範囲(図16の符号「A」で表される範囲参照)に含まれる確率が高い。したがって「実際の被写体の輝度値が16EV以上か否か」を第2の光源推定方式に基づいて判定するケースでは、「推定F値に基づいて導出される被写体の輝度値が14EV以上か否か」を基準に判定が行われることが好ましい。
一般的に青空は16EV以上に相当する明るさを持つとされる。そのため上述の処理ステップS66において目標被写体(第1のキーターゲット)を青空の画像として第2の光源推定方式に従って撮影シーンの光源を推定する場合、目標被写体(青空)の検出の基準として用いられる明るさの範囲が図16に示される関係に基づいて拡張される。すなわちシーン判定部49は、「汎用性の高い撮影時F値の範囲(本例ではF2.8〜F8の範囲)」と「代表絞り値に基づいて推定される推定F値(本例ではF4)」とに基づいて特定される調整許容輝度範囲に注目し、その調整許容輝度範囲のうち最も小さい輝度値(本例では14EV)を基準にして第2の光源推定方式に基づく光源推定を行う。したがって本例のシーン判定部49は、「推定F値に基づいて導出される被写体の輝度値が14EV以上である場合にはその被写体が青空である可能性があり、推定F値に基づいて導出される被写体の輝度値が14EVよりも小さい場合にはその被写体は青空ではない」と判定する。
このように、汎用性の高い撮影時F値の範囲及び推定F値から定められる調整許容輝度範囲に基づいて第2の光源推定方式を履行することで、実際の被写体の輝度と推定F値に基づいて導出される被写体の輝度との間のズレが補償され、青空等の目標被写体が対象画像に含まれているか否かを精度良く判定することができる。
なお被写体が青空か否かの判定は、被写体の輝度情報に加えて他の情報に基づいて行われる。例えば「被写体が青色か否か」及び/又は「被写体が対象画像の上側に存在するか否か」の情報と被写体の輝度情報とを組み合わせて、目標被写体である青空の画像の検出を行うことが好ましい。すなわち「被写体の輝度値が、調整許容輝度範囲のうち最も小さい輝度値以上である」という条件を満たし且つ「被写体が青色である」及び/又は「被写体が対象画像の上側に存在する」という条件を満たす対象画像中の被写体を「青空」と判定することができる。ここでいう「被写体が青色か否か」の判定手法は特に限定されず、例えばRGBのバランスが黒体放射曲線(図11参照)上にある画像を青色の画像として扱ってもよい。
青空のような目標被写体が対象画像に含まれているか否かを、例えば色に基づく判定(すなわち被写体が青色か否かの判定)のみに基づいて行う場合には判定精度が非常に低いが、本例のように被写体の輝度情報を使用して目標被写体が対象画像に含まれているか否かの判定を行うことで判定精度を向上させることができる。特に、図16に示すような関係に基づいて輝度情報の判定閾値を修正することで、推定F値に基づいて導出される被写体の輝度値に基づく第2の光源推定方式であっても光源を精度良く推定することが可能となる。
なお、例えば代表絞り値として「F2.8」が採用されて上述の処理ステップS66において絞り値が「F2.8」と推定される場合には、図16の符号「B」で表される範囲のうち最も小さい被写体の輝度値である「13EV」を上述の処理ステップS68における第2の光源推定方式の判定基準として用いることができる。
また調整許容輝度範囲を定めるための「撮影の際に使用される絞り値として汎用性の高い範囲」は「F2.8〜F8」に限定されない。初級ユーザにとって汎用性が高い範囲は、上述のように一般的には「F2.8〜F8」の範囲であると考えられ、より限定的には「F4〜F5.7」の範囲であると考えられ、更に限定的には「F4」であると考えられる。したがって、「撮影の際に使用される絞り値として汎用性の高い範囲」を「F4〜F5.7」に定めてもよいし、「F4」に定めてもよい。
なお、図16の範囲C以外で表される範囲(F1〜F2及びF11.3〜F32の範囲)は上級ユーザによって好んで使用される範囲であり、とりわけF11.3〜F32の範囲のように絞り開度の小さい範囲は被写界深度を理解して撮影を行う上級ユーザによって多用される範囲である。上級ユーザであれば、AWB処理によって色ズレ等の不具合が生じても、プリセットWBゲイン等を使って自身で修正を行うことも可能である。したがって、上級ユーザによって多用されることが想定されるこれらの範囲(図16に示す例ではF1〜F2及びF11.3〜F32の範囲)は、上述の調整許容輝度範囲に含まれなくてもよい。
以上説明したように本実施形態によれば、オールドレンズなどのレンズ部11が本体部12に装着され、対象画像を撮影した際の絞り値を本体部12がレンズ部11から取得できない場合であっても、青空のような目標被写体が対象画像に含まれていれば、初級ユーザであっても高精度なAWB処理を行って高画質の画像(WB処理画像)を得ることができる。
<他の変形例>
本発明の応用は上述の実施形態に限定されるものではなく、上述の実施形態に各種の変形が加えられてもよく、また上述の実施形態同士が適宜組み合わされてもよい。例えば第1実施形態及び第2実施形態が組み合わされてもよく、第1実施形態の処理フローにおいて「対象画像を撮影した際のレンズ部11の焦点距離が得られない場合(図8の処理ステップS16のN参照)」に、第2実施形態における「日中屋外ランドマークの検出処理を利用したWB処理(図12の処理ステップS36〜S43参照)」を行ってもよい。
また上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能であり、例えばCPU(Central Processing Unit)、揮発性のRAM(Random Access Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の不揮発性のメモリ、及び/又はOS(Operating System)やアプリケーションプログラム等の各種の動作プログラムが適宜組み合わされることで実現することができる。また上述のデジタルカメラ10(レンズ部11及び本体部12)の各部における画像処理方法及び撮像方法に関する各種処理の手順をコンピュータに実行させるプログラム、そのプログラムを記録したコンピュータ読み取り可能な記録媒体(非一時的記録媒体)、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。
また、本発明を適用可能な態様は図1及び図2に示すデジタルカメラ10には限定されない。
例えば上述の画像処理部35(WB処理部40)がコンピュータ92やサーバ97に設けられる場合(図4(a)及び(b)参照)、対象画像を撮影した際の絞り値及び焦点距離等の各種の情報は、対象画像に直接的又は間接的に付加されているデータ(メタデータ等)に基づいて取得されてもよい。
また、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能(通話機能、通信機能、或いはその他のコンピュータ機能)を備えるモバイル機器に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)及び携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。
<スマートフォンの構成>
図17は、本発明の撮像装置の一実施形態であるスマートフォン101の外観を示す図である。図17に示すスマートフォン101は、平板状の筐体102を有し、筐体102の一方の面に表示部としての表示パネル121と、入力部としての操作パネル122とが一体となって形成される表示入力部120が設けられる。また、その筐体102は、スピーカ131と、マイクロホン132と、操作部140と、カメラ部141とを備える。なお、筐体102の構成はこれに限定されず、例えば、表示部と入力部とが独立して設けられる構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
図18は、図17に示すスマートフォン101の構成を示すブロック図である。図18に示すように、スマートフォン101の主たる構成要素として、無線通信部110と、表示入力部120と、通話部130と、操作部140と、カメラ部141と、記憶部150と、外部入出力部160と、GPS(Global Positioning System)受信部170と、モーションセンサ部180と、電源部190と、主制御部100とを備える。また、スマートフォン101の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部110は、主制御部100の指示に従って、移動通信網に接続された基地局装置との間で無線通信を行う。その無線通信が使用されて、音声データ及び画像データ等の各種ファイルデータや電子メールデータなどの送受信、及びWebデータやストリーミングデータなどの受信が行われる。
表示入力部120は、表示パネル121及び操作パネル122を備える所謂タッチパネルであり、主制御部100の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達し、また表示した情報に対するユーザ操作を検出する。
表示パネル121は、LCD(Liquid Crystal Display)又はOELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いる。操作パネル122は、表示パネル121の表示面上に表示される画像が視認可能な状態で設けられ、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。そのデバイスがユーザの指や尖筆によって操作されると、操作パネル122は、操作に起因して発生する検出信号を主制御部100に出力する。次いで、主制御部100は、受信した検出信号に基づいて、表示パネル121上の操作位置(座標)を検出する。
本発明の撮像装置の一実施形態として図17に例示されるスマートフォン101の表示パネル121と操作パネル122とは一体となって表示入力部120を構成し、操作パネル122が表示パネル121を完全に覆うような配置となっている。その配置を採用した場合、操作パネル122は、表示パネル121外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル122は、表示パネル121に重なる重畳部分についての検出領域(以下、「表示領域」と称する)と、それ以外の表示パネル121に重ならない外縁部分についての検出領域(以下、「非表示領域」と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル121の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル122が、外縁部分及びそれ以外の内側部分の2つの感応領域を備えていてもよい。さらに、その外縁部分の幅は、筐体102の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル122で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。
通話部130は、スピーカ131及びマイクロホン132を備え、マイクロホン132を通じて入力されたユーザの音声を主制御部100にて処理可能な音声データに変換して主制御部100に出力したり、無線通信部110或いは外部入出力部160により受信された音声データを復号してスピーカ131から出力したりする。また、図17に示すように、例えば、スピーカ131を表示入力部120が設けられた面と同じ面に搭載し、マイクロホン132を筐体102の側面に搭載することができる。
操作部140は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図17に示すように、操作部140は、スマートフォン101の筐体102の側面に搭載され、指などで押下されるとスイッチオン状態となり、指を離すとバネなどの復元力によってスイッチオフ状態となる押しボタン式のスイッチである。
記憶部150は、主制御部100の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータ、及びダウンロードしたコンテンツデータ等を記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部150は、スマートフォン内蔵の内部記憶部151と着脱自在な外部メモリスロットを有する外部記憶部152とにより構成される。なお、記憶部150を構成する内部記憶部151及び外部記憶部152のそれぞれは、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、MicroSD(登録商標)メモリ等)、RAM(Random Access Memory)、或いはROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部160は、スマートフォン101に連結される全ての外部機器とのインターフェースの役割を果たし、通信等(例えば、ユニバーサルシリアルバス(USB:Universal Serial Bus)、IEEE(The Institute of Electrical and Electronics Engineers, Inc.)が定めるIEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により他の外部機器に直接的又は間接的に接続する。
スマートフォン101に連結される外部機器としては、例えば、有線/無線ヘッドセット、有線/無線外部充電器、有線/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有線/無線接続されるスマートフォン、有線/無線接続されるパーソナルコンピュータ、有線/無線接続されるPDA、及び有線/無線接続されるイヤホンなどがある。外部入出力部160は、このような外部機器から伝送を受けたデータをスマートフォン101の内部の各構成要素に伝達したり、スマートフォン101の内部のデータが外部機器に伝送されたりするように構成されてもよい。
GPS受信部170は、主制御部100の指示に従って、GPS衛星ST1、ST2〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン101の緯度、経度及び高度によって特定される位置を検出する。GPS受信部170は、無線通信部110及び/又は外部入出力部160(例えば、無線LAN(Local Area Network))から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部180は、例えば、3軸の加速度センサなどを備え、主制御部100の指示に従って、スマートフォン101の物理的な動きを検出する。スマートフォン101の物理的な動きを検出することにより、スマートフォン101の動く方向や加速度が検出される。その検出の結果は、主制御部100に出力される。
電源部190は、主制御部100の指示に従って、スマートフォン101の各部に、バッテリ(図示しない)に蓄えられる電力を供給する。
主制御部100は、マイクロプロセッサを備え、記憶部150が記憶する制御プログラムや制御データに従って動作し、スマートフォン101の各部を統括して制御する。また、主制御部100は、無線通信部110を通じて音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能とを備える。
アプリケーション処理機能は、記憶部150が記憶するアプリケーションソフトウェアに従って主制御部100が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部160を制御することで対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びWebページを閲覧するWebブラウジング機能などがある。
また、主制御部100は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部120に表示する等の画像処理機能を備える。画像処理機能とは、主制御部100が、上記画像データを復号し、その復号結果に画像処理を施して、その画像処理を経て得られる画像を表示入力部120に表示する機能のことをいう。
さらに、主制御部100は、表示パネル121に対する表示制御と、操作部140や操作パネル122を通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部100は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル121の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部100は、操作部140を通じたユーザ操作を検出したり、操作パネル122を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
さらに、操作検出制御の実行により主制御部100は、操作パネル122に対する操作位置が、表示パネル121に重なる重畳部分(表示領域)に該当するか、或いはそれ以外の表示パネル121に重ならない外縁部分(非表示領域)に該当するかを判定し、操作パネル122の感応領域やソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部100は、操作パネル122に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部141は、CMOSなどの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部141は、主制御部100の制御により、撮像によって得た画像データを例えばJPEGなどの圧縮した画像データに変換し、その画像データを記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることができる。図17に示すようにスマートフォン101において、カメラ部141は表示入力部120と同じ面に搭載されているが、カメラ部141の搭載位置はこれに限らず、表示入力部120が設けられる筐体102の表面ではなく筐体102の背面にカメラ部141が搭載されてもよいし、或いは複数のカメラ部141が筐体102に搭載されてもよい。なお、複数のカメラ部141が搭載されている場合には、撮影に供するカメラ部141を切り替えて単独のカメラ部141によって撮影が行われてもよいし、或いは、複数のカメラ部141を同時に使用して撮影が行われてもよい。
また、カメラ部141はスマートフォン101の各種機能に利用することができる。例えば、カメラ部141で取得した画像が表示パネル121に表示さてもよいし、操作パネル122の操作入力手法の1つとして、カメラ部141で撮影取得される画像が利用さてもよい。また、GPS受信部170が位置を検出する際に、カメラ部141からの画像が参照されて位置が検出されてもよい。さらには、カメラ部141からの画像が参照されて、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン101のカメラ部141の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部141からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、GPS受信部170により取得された位置情報、マイクロホン132により取得された音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、及びモーションセンサ部180により取得された姿勢情報等などを静止画像又は動画像のデータに付加して得られるデータを、記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力したりすることもできる。
なお上述の画像処理部35(特にWB処理部40)は、例えば主制御部100によって実現可能である。
10…デジタルカメラ、11…レンズ部、12…本体部、13…レンズ、14…絞り、15…光学系操作部、16…レンズ側コントローラ、17…レンズ記憶部、18…レンズ側入出力部、19…絞り調整部、20…絞り駆動部、21…フォーカス調整部、22…レンズ駆動部、23…レンズ保持部、24…撮像素子、25…本体側コントローラ、26…ユーザインターフェース、28…本体側入出力部、29…本体記憶部、30…入出力インターフェース、34…デバイス制御部、35…画像処理部、38…レンズアダプタ、40…WB処理部、41…前処理部、42…後処理部、44…被写体、46…画像取得部、47…絞り値判定部、48…夜間判定情報取得部、49…シーン判定部、50…パラメータ決定部、51…WB実行部、92…コンピュータ、93…コンピュータ入出力部、94…コンピュータコントローラ、95…ディスプレイ、96…ネットワーク、97…サーバ、98…サーバ入出力部、99…サーバコントローラ、100…主制御部、101…スマートフォン、102…筐体、110…無線通信部、120…表示入力部、121…表示パネル、122…操作パネル、130…通話部、131…スピーカ、132…マイクロホン、140…操作部、141…カメラ部、150…記憶部、151…内部記憶部、152…外部記憶部、160…外部入出力部、170…GPS受信部、180…モーションセンサ部、190…電源部

Claims (22)

  1. 着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する画像取得部と、
    前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定する絞り値判定部と、
    前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行うシーン判定部と、
    前記シーン判定部による前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定するパラメータ決定部とを備える画像処理装置。
  2. 前記シーン判定部は、前記対象画像の解析を行い、当該解析の結果に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項1に記載の画像処理装置。
  3. 前記シーン判定部は、前記対象画像における被写体の形状、色、配置、面積及び空間周波数に基づく要素のうち少なくともいずれか1つの要素に基づいて前記対象画像の解析を行う請求項2に記載の画像処理装置。
  4. 前記シーン判定部は、
    前記対象画像の解析を行って、前記対象画像を撮影した際の前記絞り値として代表絞り値を採用した場合における前記対象画像の被写体の輝度情報を取得し、
    前記輝度情報に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項2又は3に記載の画像処理装置。
  5. 前記代表絞り値は2.8以上8以下の範囲のF値に対応する請求項4に記載の画像処理装置。
  6. 前記代表絞り値は4以上5.6以下の範囲のF値に対応する請求項4に記載の画像処理装置。
  7. 前記シーン判定部は、前記対象画像の解析を行って、予め定められる第1のキーターゲットが前記対象画像に含まれるか否かの評価を、前記対象画像を撮影した際の前記絞り値として代表絞り値を採用した場合に基づいて行い、当該評価に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項2又は3に記載の画像処理装置。
  8. 前記シーン判定部は、前記対象画像の解析を行って、前記対象画像を撮影した際の前記絞り値として前記代表絞り値を採用した場合における前記対象画像の被写体の輝度情報を取得し、前記第1のキーターゲットが前記対象画像に含まれるか否かの評価を前記輝度情報に基づいて行う請求項7に記載の画像処理装置。
  9. 前記シーン判定部は、
    前記第1のキーターゲットに割り当てられる輝度を示す輝度条件を前記代表絞り値に基づいて決定し、
    前記輝度情報が前記輝度条件に該当するか否かに基づいて前記第1のキーターゲットが前記対象画像に含まれるか否かの評価を行う請求項8に記載の画像処理装置。
  10. 前記第1のキーターゲットは青空の画像である請求項7〜9のいずれか一項に記載の画像処理装置。
  11. 前記シーン判定部は、
    前記対象画像を撮影した際の焦点距離を取得し、
    前記対象画像の解析を行って被写体の特徴情報を取得し、
    前記焦点距離及び前記特徴情報に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項2又は3に記載の画像処理装置。
  12. 前記シーン判定部は、前記焦点距離及び前記特徴情報に基づいて被写体距離を取得し、当該被写体距離に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項11に記載の画像処理装置。
  13. 前記特徴情報は、予め定められる範囲内のサイズを有する被写体の前記対象画像におけるサイズに関する情報である請求項11又は12に記載の画像処理装置。
  14. 前記特徴情報は、顔、車、建造物及び空のうちの少なくともいずれか1つの被写体の前記対象画像におけるサイズに関する情報である請求項11〜13のいずれか一項に記載の画像処理装置。
  15. 前記シーン判定部は、前記対象画像の解析を行って予め定められる第2のキーターゲットが前記対象画像に含まれるか否かの評価を行い、当該評価に基づいて前記対象画像の撮影シーンが屋外か否かを判定する請求項2又は3に記載の画像処理装置。
  16. 前記第2のキーターゲットは、青空、太陽、虹及び山のうちの少なくともいずれか1つの画像であり、
    前記シーン判定部は、前記第2のキーターゲットが前記対象画像に含まれると評価した場合には前記対象画像の撮影シーンが屋外であると判定する請求項15に記載の画像処理装置。
  17. 前記シーン判定部は、前記第1の判定処理によって前記対象画像の撮影シーンが屋外ではないと判定した場合、前記対象画像の画素値の大きさを代表する画像レベル及び前記対象画像の構成色間の比率のうち少なくともいずれか一方に基づいて前記対象画像の撮影シーンを判定する第2の判定処理を行う請求項1〜16のいずれか一項に記載の画像処理装置。
  18. 前記シーン判定部は、前記第2の判定処理において、前記画像レベルの大きさを示す画像レベル値が判定閾値よりも大きければ前記対象画像の撮影シーンを屋外と判定する請求項17に記載の画像処理装置。
  19. 撮像素子と、
    請求項1〜18のいずれか一項に記載の画像処理装置とを備え、
    撮像素子から出力される画像を前記対象画像とする撮像装置。
  20. 着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得するステップと、
    前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定するステップと、
    前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行うステップと、
    前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定するステップとを備える画像処理方法。
  21. 着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、
    前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定する手順と、
    前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行う手順と、
    前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラム。
  22. 着脱可能なレンズ部が本体部に装着された撮像装置により撮像された対象画像を取得する手順と、
    前記対象画像を撮影した際に使用された前記レンズ部から絞り値が取得できるか否かを判定する手順と、
    前記絞り値が取得できないと判定される場合に、少なくとも前記対象画像に基づいて、前記対象画像の撮影シーンが屋外か否かを判定する第1の判定処理を行う手順と、
    前記対象画像の撮影シーンが屋外か否かの判定結果に基づいて、前記対象画像のホワイトバランスの調整パラメータを決定する手順とコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2015017934A 2015-01-30 2015-01-30 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体 Pending JP2016144006A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015017934A JP2016144006A (ja) 2015-01-30 2015-01-30 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015017934A JP2016144006A (ja) 2015-01-30 2015-01-30 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
JP2016144006A true JP2016144006A (ja) 2016-08-08

Family

ID=56570894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015017934A Pending JP2016144006A (ja) 2015-01-30 2015-01-30 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体

Country Status (1)

Country Link
JP (1) JP2016144006A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019001163A1 (zh) * 2017-06-28 2019-01-03 杭州海康威视数字技术股份有限公司 一种白平衡调整方法、装置、相机及介质
CN115552892A (zh) * 2020-05-14 2022-12-30 Ntt通信公司 远程作业装置及其程序

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019001163A1 (zh) * 2017-06-28 2019-01-03 杭州海康威视数字技术股份有限公司 一种白平衡调整方法、装置、相机及介质
US11323677B2 (en) 2017-06-28 2022-05-03 Hangzhou Hikvision Digital Technology Co., Ltd. White balance adjustment method and apparatus, camera and medium
CN115552892A (zh) * 2020-05-14 2022-12-30 Ntt通信公司 远程作业装置及其程序

Similar Documents

Publication Publication Date Title
US10027938B2 (en) Image processing device, imaging device, image processing method, and image processing program
EP3320397B1 (en) System and method for controlling capture of images
US9584713B2 (en) Image capturing apparatus capable of specifying an object in image data based on object detection, motion detection and/or object recognition, communication apparatus communicating with image capturing apparatus, and control method therefor
JP6272486B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US8558935B2 (en) Scene information displaying method and apparatus and digital photographing apparatus using the scene information displaying method and apparatus
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6195633B2 (ja) 画像処理装置及び画像処理方法
CN107211088B (zh) 相机装置、摄像系统、控制方法及有形介质
JP6063092B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2017047012A1 (ja) 撮像装置および撮像装置とサーバとを含むシステム
US9386212B2 (en) Information processing device, system and storage medium to provide shooting parameters
JP6096382B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US11032484B2 (en) Image processing apparatus, imaging apparatus, image processing method, imaging method, and program
JP2013207721A (ja) 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム
KR102375688B1 (ko) 촬상 장치, 촬영 시스템 및 촬영 방법
US20200204722A1 (en) Imaging apparatus, imaging method, and program
US10778903B2 (en) Imaging apparatus, imaging method, and program
JPWO2014098143A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP2016144006A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム及び記録媒体
JP2023059952A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム及び記録媒体
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
KR101611303B1 (ko) 영상 촬영 방법 및 장치