JP2009020327A - 撮像装置及びそのプログラム - Google Patents

撮像装置及びそのプログラム Download PDF

Info

Publication number
JP2009020327A
JP2009020327A JP2007183088A JP2007183088A JP2009020327A JP 2009020327 A JP2009020327 A JP 2009020327A JP 2007183088 A JP2007183088 A JP 2007183088A JP 2007183088 A JP2007183088 A JP 2007183088A JP 2009020327 A JP2009020327 A JP 2009020327A
Authority
JP
Japan
Prior art keywords
image data
range
image
photometric
comparison
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007183088A
Other languages
English (en)
Other versions
JP5316923B2 (ja
Inventor
Tomohiko Murakami
智彦 村上
Yoshiyuki Kato
芳幸 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007183088A priority Critical patent/JP5316923B2/ja
Publication of JP2009020327A publication Critical patent/JP2009020327A/ja
Application granted granted Critical
Publication of JP5316923B2 publication Critical patent/JP5316923B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

【課題】露出制御の精度の向上、更に、異常な露出状態を回避することができる撮像装置及びそのプログラムを実現する。
【解決手段】中央を重み付けした各色成分の積分平均値wR、wG、wB、輝度積分平均値wYを算出する(S32、33)。そして、夜景モードがOnであると判断すると(S34でY)、画角の中央領域の各色成分の積分平均値cR、cG、cB、輝度積分平均値cYを算出する(S35、S36)。cYがwYより大きい場合は画角の中央領域を重み付けした積分平均値cR、cG、cB、cYの中で最もレベルの高いものを評価用積分平均値Sとし(S59)、Y1がY2より大きくない場合は中央を重み付けした積分平均値wR、wG、wB、wYの中で最もレベルの高いものを評価用積分平均値Sとする(S60)。そして、評価用積分平均値Sに基づいて露出制御を行なう(図2のS7〜S9、S13)。
【選択図】 図3

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、露出制御機能を有した撮像装置及びそのプログラムに関する。
近年、電子カメラ等の撮像装置において、画角全体を測光の対象とするが特に中央部に重点をおいて測光を行う中央部重点測光や、画角の中央に対してスポット的に測光を行う中央部スポット測光を用いて露出制御を行なう技術が登場した(特許文献1)。
公開特許公報 特開2000−2311302002-311472
しかしながら、従来の技術によれば、背景と撮影したいメイン被写体との明るさの差が大きい場合の撮影、例えば、背景が暗く撮影したいメイン被写体にスポット光などが当たっているというような夜間時の撮影においては、以下のような問題が生じる。つまり、中央部重点測光による露出制御では、被写体が中央部分に存在していたといても被写体が小さいような場合には、背景部分の影響が大きくなるためにメイン被写体が白飛びしてしまう。また、スポット測光による露出制御では、スポット測光の対象となる部分にメイン被写体がいないのにスポット測光を行なうと、メイン被写体が白飛びしてしまう。また、逆光によりメイン被写体が暗く、メイン被写体の周りが明るいというような場合でも同様であり、メイン被写体が暗く沈んでしまう。特に動画撮影においては、画角内の被写体の位置が変化するので、適切な露出となるように制御するのは難しい。
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、背景と撮影したいメイン被写体との明るさの差が大きい場合の撮影であっても、メイン被写体が白飛びしたり、又は、メイン被写体が暗く沈むようなことを少なくし、露出制御の精度の向上、更に、異常な露出状態を回避することができる撮像装置及びそのプログラムを提供することを目的とする。
上記目的達成のため、請求項1記載の発明による撮像装置は、被写体を撮像する撮像素子と、
前記撮像素子により得られた画像データに基づいて、複数の測光範囲の画像データの明るさを比較する比較手段と、
前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御する露出制御手段と、
を備えたことを特徴とする。
また、例えば、請求項2に記載されているように、前記比較手段は、
第1の測光範囲の画像データと、該第1の測光範囲より小さい第2の測光範囲の画像データとの明るさを比較するようにしてもよい。
また、例えば、請求項3に記載されているように、前記第2の測光範囲は、
画角の中央領域、又は、ユーザによって指定された任意の領域であるようにしてもよい。
また、例えば、請求項4に記載されているように、前記第2の測光範囲は、
所定のサイズ、又は、ユーザによって指定された任意のサイズであるようにしてもよい。
また、例えば、請求項5に記載されているように、前記比較手段は、
第1の測光範囲の画像データ、及び、該第1の測光範囲より小さい複数の第2の測光範囲の画像データの明るさを比較するようにしてもよい。
また、例えば、請求項6に記載されているように、前記複数の第2の測光範囲は、
画角の中央領域、又は、ユーザによって任意に指定された領域と、その周辺の領域であるようにしてもよい。
また、例えば、請求項7に記載されているように、前記第1の測光範囲の画像データは、
前記撮像素子により得られた全領域の画像データであるようにしてもよい。
また、例えば、請求項8に記載されているように、前記比較手段は、
前記第1の測光範囲の画像データうち、所定の領域を重み付けした画像データを、前記第1の測光範囲の画像データとして用いるようにしてもよい。
また、例えば、請求項9に記載されているように、前記露出制御手段は、
前記比較手段による比較結果に基づいて選択した測光範囲が、前記第1の測光範囲である場合は、前記所定の領域を重み付けした画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項10に記載されているように、前記比較手段は、
前記撮像素子により得られた画像データの輝度成分に基づいて、比較するようにしてもよい。
また、例えば、請求項11に記載されているように、前記撮像素子は、複数の色フィルターを有しており、
前記比較手段は、
前記撮像素子により得られた画像データの輝度成分及び各色の色成分に基づいて、比較するようにしてもよい。
また、例えば、請求項12に記載されているように、前記撮像素子は、複数の色フィルターを有しており、
前記露出制御手段は、
前記比較手段による比較結果に基づいて明るいと判断された測光範囲の画像データの輝度成分、各色の色成分のうち、何れか1つの成分に基づいて、露出量を制御するようにしてもよい。
また、例えば、請求項13に記載されているように、前記露出制御手段は、
輝度成分、各色の色成分のうち、最も明るさのレベルが高い成分に基づいて露出制御を行なうようにしてもよい。
また、例えば、請求項14に記載されているように、前記撮像素子を用いて被写体の動画の撮像を制御する動画撮像制御手段を備え、
前記比較手段は、
前記動画撮像制御手段により順次撮像されるフレーム画像データに基づいて、複数の測光範囲の画像データの明るさを比較していき、
前記露出制御手段は、
前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択していき、該順次選択された測光範囲の画像データに基づいて、前記動画撮像制御手段により順次撮像されるフレーム画像データの露出量を制御していくようにしてもよい。
また、例えば、請求項15に記載されているように、前記撮像素子を用いて被写体の静止画の撮影を制御する静止画撮影制御手段を備え、
前記露出制御手段は、
前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記静止画撮影制御手段により撮影される静止画像データの露出量を制御するようにしてもよい。
また、例えば、請求項16に記載されているように、所定のモードを設定する設定手段を備え、
前記比較手段は、
前記設定手段により所定のモードが設定されている場合に、比較動作を実行し、
前記露出制御手段は、
前記設定手段により所定のモードが設定されている場合は、前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項17に記載されているように、前記所定のモードは、
背景の明るさよりも被写体の明るさの方が明るいときの撮影におけるモードであり、
前記露出制御手段は、
前記設定手段により所定のモードが設定されている場合は、前記比較手段による比較結果に基づいて最も明るい測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項18に記載されているように、前記所定のモードは、
背景の明るさよりも被写体の明るさの方が暗いときの撮影におけるモードであり、
前記露出制御手段は、
前記設定手段により所定のモードが設定されている場合は、前記比較手段による比較結果に基づいて最も暗い測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項19に記載されているように、背景の明るさよりも被写体の明るさの方が明るくなる第1の撮影状況であるか否かを特定する第1の特定手段を更に備え、
前記露出制御手段は、
前記特定手段により前記第1の撮影状況であることが特定された場合に、前記比較手段による比較結果に基づいて最も明るい測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項20に記載されているように、前記露出制御手段は、
前記特定手段により前記第1の撮影状況でないことが特定された場合に、前記比較手段による比較結果とは関係無く所定の測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項21に記載されているように、前記露出制御手段は、
前記特定手段により前記第1の撮影状況でないことが特定された場合に、前記第1の撮影状況であることが特定された場合に選択される測光範囲以上の大きさを有する測光範囲を選択し、この選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
また、例えば、請求項22に記載されているように、背景の明るさよりも被写体の明るさの方が暗くなる第2の撮影状況であるか否かを特定する第2の特定手段を更に備え、
前記露出制御手段は、
前記特定手段により前記第2の撮影状況であることが特定された場合に、前記比較手段による比較結果に基づいて最も暗い測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御するようにしてもよい。
上記目的達成のため、請求項23記載の発明によるプログラムは、被写体を撮像する撮像素子により得られた画像データに基づいて、複数の測光範囲の画像データの明るさを比較する比較処理と、
前記比較処理による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御する露出制御処理と、
を含み、上記各処理をコンピュータで実行することを特徴とする。
本願発明によれば、背景と撮影したいメイン被写体との明るさの差が大きい場合の撮影であっても、露出制御の精度の向上させることができ、異常な露出状態を回避することができる。
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第1の実施の形態]
A.デジタルカメラの構成
図1は、本発明の撮像装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮影レンズ2、レンズ駆動ブロック3、絞り4、CCD5、ドライバ6、TG(timing generator)7、ユニット回路8、メモリ9、CPU10、DRAM11、画像表示部12、フラッシュメモリ13、キー入力部14、ストロボ装置15、バス16を備えている。
撮影レンズ2は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ2にはレンズ駆動ブロック3が接続されている。レンズ駆動ブロック3は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、CPU10から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている(図示略)。
絞り4は、図示しない駆動回路を含み、駆動回路はCPU10から送られてくる制御信号にしたがって絞り4を動作させる。
絞り4とは、撮影レンズ2から入ってくる光の量を制御する機構のことをいう。
撮像素子であるCCD5は、ドライバ6によって駆動され、一定周期毎に被写体像のRGB値の各色の光の強さを光電変換して撮像信号としてユニット回路8に出力する。このドライバ6、ユニット回路8の動作タイミングはTG7を介してCPU10により制御される。なお、CCD5はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ6、TG7を介してCPU10によって制御される。
ユニット回路8には、TG7が接続されており、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行なうAGC(Automatic Gain Control)回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するA/D変換器から構成されており、CCD5から出力された撮像信号はユニット回路8を経てデジタル信号としてCPU10に送られる。
CPU10は、ユニット回路8から送られてきた画像データをバッファメモリ(DRAM11)に記憶させるとともに、該記憶させた画像データに対してガンマ補正、補間処理、ホワイトバランス処理、輝度色差信号(YUVデータ)の生成処理などの画像処理、画像データの圧縮・伸張(例えば、JPEG形式の圧縮・伸張)処理、フラッシュメモリ13への画像データの記録処理を行う機能を有するとともに、デジタルカメラ1の各部を制御するワンチップマイコンである。
特に、CPU10は、複数の測光範囲の明るさを算出する明るさ算出部101、該明るさ算出部101により算出された測光範囲の明るさを比較する明るさ比較部102、該明るさ比較部102による比較により明るいと判断された測光範囲に基づいて露出制御を行なう露出制御部103を有する。
メモリ9には、CPU10が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、CPU10は、該プログラムに従い動作する。
DRAM11は、CCD5によって撮像された後、CPU10に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、CPU10のワーキングメモリとして使用される。
フラッシュメモリ13は、圧縮された画像データを保存記録する記録媒体である。
画像表示部12は、カラーLCDとその駆動回路を含み、撮影待機状態にあるときには、CCD5によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ13から読み出され、伸張された記録画像を表示させる。
キー入力部14は、半押し全押し可能なシャッタボタン、モード切替キー、夜景モードon/off切替キー、ストロボモード切替キー、十字キー、SETキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU10に出力する。
B.デジタルカメラ1の動作
実施の形態におけるデジタルカメラ1の動作を図2のフローチャートに従って説明する。
ユーザのキー入力部14のモード切替キーの操作により撮影モードに設定されると、CPU10は、CCD5に所定のフレームレートで被写体を撮像させる処理を開始させ(動画撮像)、該撮像により順次得られたフレーム画像データから輝度色差信号のフレーム画像データ(YUVデータ)を生成していき、該順次生成された輝度色差信号のフレーム画像データをバッファメモリ(DRAM11)に記憶させ、該記憶された被写体のフレーム画像データを順次画像表示部12に表示させるというスルー画像表示を開始させる(ステップS1)。
次いで、ステップS2で、CPU10は、ユーザによって夜景モードon/off切替キーの操作が行なわれたか否かを判断する。この判断は、夜景モードon/off切替キーの操作に対応する操作信号がキー入力部14から送られてきたか否かにより判断する。
ステップS2で、夜景モードon/off切替キーの操作が行なわれたと判断すると、ステップS3に進み、CPU10は、現在、夜景モードがonであるか否かを判断する。
ステップS3で、夜景モードがonでないと判断すると、つまりoffであると判断すると、ステップS4に進み、CPU10は、夜景モードをoffからonに切替えて顔検出処理を開始して、ステップS6に進む。
一方、ステップS3で、夜景モードがonであると判断すると、ステップS5に進み、CPU10は、夜景モードをonからoffに切替えて顔検出処理を終了して、ステップS6に進む。
また、ステップS2で、夜景モードon/off切替キーの操作が行なわれていないと判断するとそのままステップS6に進む。
ステップS6に進むと、CPU10は、直近に撮像されたフレーム画像データに基づいて、評価用積分平均値Sの算出処理を行う。この評価用積分平均値Sは、撮像された画像の明るさを示すものであり、具体的な算出処理は後で説明するが、簡単に説明すると、複数の測光範囲のうち明るい方の測光範囲に基づいて評価用積分平均値Sを算出する。
次いで、ステップS7で、CPU10は、該算出した評価用積分平均値Sが所定レベルより大きいか否かを判断する。
ステップS7で、評価用積分平均値Sが所定レベルより大きいと判断すると、ステップS8に進み、CPU10の露出制御部103は、所定のプログラム線図を用いて撮像される画像が暗くなる方向に、動画撮像により撮像される画像データの露出制御を行なって、ステップS10に進む。つまり、絞りやシャッタ速度によりCCD5に入射する光量(露出量)を機械的に減らしたり、感度を下げることにより電子的に光量(露出量)を減らしたりする。この感度は、画像を明るくしたり暗くしたりする作用のことをいい、ゲインを変えたり、画素加算させる画素の数を変えることによって感度を変えることができる。
この撮像される画像が暗くなる方向となる露出制御は、評価用積分平均値Sが、所定量分だけ減るように行なう。つまり、ステップS8での露出制御を複数回行なうことにより、徐々に段階的に評価用積分平均値Sが所定レベルに近づく。
なお、このステップS8の露出制御は、段階的でなく該評価用積分平均値Sが直接、一気に所定レベルとなるように露出制御を行なうようにしてもよい。例えば、該評価用積分平均値Sが所定レベルより遥かに大きい場合は、1回の露出制御により減らす光量を多くし、該評価用積分平均値Sが所定レベルより少し大きい場合は、1回の露出制御により減らす光量を少なくすることにより、評価用積分平均値Sが直接、所定レベルとなるようする。
一方、ステップS7で、評価用積分平均値Sが所定レベルより大きくないと判断すると、ステップS9に進み、CPU10の露出制御部102は、所定のプログラム線図を用いて撮像される画像が明るくなる方向に、(スルー画像用の)動画撮像により撮像される画像データの露出制御を行なって、ステップS10に進む。また、この撮像される画像が明るくなる方向となる露出制御は、上記と同様に、評価用積分平均値Sが、所定量分だけ増えるように行なう。つまり、ステップS9での露出制御を複数回行なうことにより、徐々に段階的に評価用積分平均値Sが所定レベルに近づく。なお、このステップS9の露出制御は、段階的でなく該評価用積分平均値Sが直接、一気に所定レベルとなるように露出制御を行なうようにしてもよい。
ステップS10に進むと、CPU10は、ユーザによってシャッタボタンが全押しされたか否かを判定する。この判断は、シャッタボタンの全押し操作に対応する操作信号がキー入力部14から送られてきたか否かにより判断する。
ステップS10で、シャッタボタンが全押しされていないと判断すると、ステップS2に戻って上記した動作を繰り返し、シャッタボタンが全押しされたと判断すると、ステップS11に進み、ステップS8またはステップS9で直近に設定(制御)された露出条件(絞り、シャッタ速度、感度など)で、静止画撮影処理を行い、該得られた静止画像データを圧縮してフラッシュメモリ13に記録する処理を行い、その後ステップS1に戻る。つまり、露出制御部101は、ステップS6で直近に算出された評価用積分平均値Sに基づいて、静止画撮影処理により得られる静止画像データの露出を制御する。
なお、シャッタボタンが全押しされた後に再度、ステップS6〜S9で行った処理と同様の処理を行って露出条件を再設定するようにしてもよい。また、この処理の際に、シャッタボタンが全押しされる前にはスルー画像用のプログラム線図を用い、シャッタボタンが全押しされた後は静止画用のプログラム線図を用いるようにしてもよい。
また、シャッタボタンが半押しされた時点で、ステップS6〜S9で行った処理と同様の処理を行って露出条件を確定した後、シャッタボタンが全押しされるのを待ってから確定された露出条件で静止画撮影処理を行うようにしてもよい。
B−1.評価用積分平均値Sの算出処理について
次に、評価用積分平均値Sの算出処理の動作を図3のフローチャートにしたがって説明する。
まず、評価用積分平均値Sの算出処理を行うと判断すると、つまり、図2のステップS6に進むと、図3のステップS31に進み、CPU10の明るさ算出部101は、直近に撮像されたフレーム画像データの各領域のRデータ、Gデータ、Bデータ毎(色成分毎)にそれぞれの積分値r、g、bを算出する。
ここで、図4(A)は、フレーム画像データの各領域の様子を示すものであり、ここでは、便宜上、フレーム画像データを縦16×横16の領域に分けるものとするが、これに限られない。
また、図4(A)に示される番号は、各領域のアドレス番号を表しており、この各領域を便宜上、領域[アドレス番号n(以下nで表す)]で表す。即ち、各領域は、領域0、領域1、・・・領域254、領域255で表される。
したがって、ステップS31では、領域内にあるRデータの積分値r、Gデータの積分値g、Bデータの積分値rを各領域毎に算出することになる。
このRGB毎の各領域の積分値r、g、b、をそれぞれ、具体的に表すと、r−sum[n]、g−sum[n]、b−sum[n]で記す。したがって、r−sum[n]はアドレス番号がn領域の積分値rを表しており、g−sum[n]はアドレス番号がn領域の積分値gを表しており、b−sum[n]はアドレス番号がn領域の積分値bを表している。
次いで、ステップS32で、CPU10の明るさ算出部101は、該算出された各領域の積分値rから画角の中央を重み付けした画角全体の積分平均値wRの算出、各領域の積分値gから画角の中央を重み付けした積分平均値wGの算出、各領域の積分値bから画角の中央を重み付けした積分平均値wBの算出を行う。
ここで、画角の中央を重み付けした積分平均値の算出は、画角の中央の重み付け係数が最も大きくなるように、各領域の重み付け係数を所定のアルゴリズムにしたがって算出し(中央重点となるような各領域の重み付け係数を算出し)、該算出した各領域の重み付け係数を用いて、画角の中央領域の積分値r、g、bを重み付けした画角全体(画像の全領域)の積分平均値wR、wG、wBをそれぞれ算出する。これにより画角の中央領域に重みをおいた画像全体の明るさを得ることができる。
なお、各領域の重み付け係数を算出するのではなく、予め各領域の重み付け係数をメモリ9に記録させておくようにしてもよい。
ここで、図4(B)は、算出される中央重点となるような各領域の重み付け係数の一例を示すものである。
図4(B)を見ると分かるように、画角の中央、つまり、領域68〜領域75、領域84〜領域91、領域100〜領域107、領域116〜領域123、領域132〜領域139、領域148〜領域155、領域164〜領域171、領域180〜領域187の重み付け係数が最も大きく、これらの領域から画角の中央から離れるにつれて、重み付け係数が小さくなっている。ここでは、画角の中央の重み付け係数を4、その周りの重み付け係数を2、1というように中央から離れるにしたがって小さくなっている。なお、この各領域の重み付け係数をweight[n]で表す。このアドレス番号nは、領域のアドレス番号に対応しており(n=0,1,2,3,・・・,254,255)、weight[n]は、アドレス番号がnの領域の重み付け係数を表している。
そして、ステップS51で算出した各領域のr−sum[n]と、中央重点となるような各領域の重み付け係数weight[n]とを同じ領域同士で乗算し、該乗算後の積分値の総和を、重み付け係数weight[n]の総和で除算することにより、画角の中央領域を重み付けした積分平均値wRを算出する。また、同様に、ステップS51で算出した各領域のg−sum[n]、b−sum[n]と中央重点となるような各領域の重み付け係数weight[n]とを同じ領域同士で乗算し、該乗算後の積分値g、bそれぞれの総和を、重み付け係数weight[n]の総和で除算することにより、画角の中央領域を重み付けした積分平均値wG、wBをそれぞれ算出する。
この積分平均値wR、wG、wBの算出を数式で表すと数1のようになる。
Figure 2009020327
積分平均値wR、wG、wBを算出すると、ステップS33に進み、明るさ算出部101は、該算出した積分平均値wR、wG、wBを用いて画角の中央を重み付けした輝度積分平均値wYを算出する。
この算出は、数式『輝度積分平均値wY=0.3×wR+0.5×wG+0.2×wB』によって算出する。これにより画角の中央領域に重みをおいた画像全体の明るさを得ることができる。
このステップS32、ステップS33の動作を見ると分かるように、測光範囲は画像データの全範囲であり、且つ、中央を重点としている。つまり、画角の全領域を測光範囲とし、中央を重点とした画像データの明るさを算出していることになる。
次いで、ステップS34で、明るさ算出部101は、現在、夜景モードがonであるか否かを判断する。
ステップS34で、夜景モードがonであると判断すると、ステップS35に進み、明るさ算出部101は、画角の1/4の大きさを有する中央領域のステップS31で算出された各領域の積分値rから該中央領域の積分平均値cRの算出、画角の1/4の大きさを有する中央領域のステップS31で算出された各領域の積分値gから該中央領域の積分平均値cGの算出、画角の1/4の大きさを有する中央領域のステップS31で算出された各領域の積分値bから該中央領域の積分平均値cBの算出を行う。
図5は、画角の1/4の大きさを有する中央領域の範囲を示す図であり、この中央領域は、領域68〜領域75、領域84〜領域91、領域100〜領域107、領域116〜領域123、領域132〜領域139、領域148〜領域155、領域164〜領域171、領域180〜領域187から成るので(図4(A)参照)、これらの領域の積分値r、g、bに基づいて、それぞれ積分平均値cR、積分平均値cG、積分平均値cBをそれぞれ算出することになる。
この積分平均値cR、cG、cBの算出は、該中央領域の積分値r、g、b毎に加算し、加算した数で除算することにより積分平均値cR、cG、cBをそれぞれ算出することができる。つまり、単純平均値を算出することになる。
次いで、ステップS36に進み、明るさ算出部101は、該算出した積分平均値cR、cG、cBを用いて、画角の1/4の大きさを有する中央領域の輝度積分平均値cYを算出する。
この算出は、数式『輝度積分平均値cY=0.3×cR+0.5×cG+0.2×cB』によって算出する。
このステップS35、ステップS36の動作を見ると分かるように、測光範囲は画角の中央領域の範囲であることが分かる。つまり、画像データの全範囲の1部を測光範囲として、明るさを算出していることになる。
次いで、ステップS37で、明るさ比較部102は、ステップS36で算出した輝度積分平均値cYとステップS33で算出した輝度積分平均値wYを比較し、輝度積分平均値cYが輝度積分平均値wYより大きいか否かを判断する。つまり、画角の中央領域を範囲とする測光範囲の画像データと、全範囲を測光範囲として、且つ、中央を重点とした測光範囲の画像データとのどちらが明るいかを判断している。
この輝度成分を比較することにより精度よく画像の明るさを比較することができる。
ステップS37で、輝度積分平均値cYが輝度積分平均値wYより大きいと判断すると、ステップS38に進み、明るさ比較部102は、ステップS35で算出した積分平均値cR、積分平均値cG、積分平均値cB、ステップS36で算出した輝度積分平均値cYを比較し、最もレベルの高い積分平均値を評価用積分平均値Sとする。
一方、ステップS34で夜景モードがOnでないと判断された場合、ステップS37で輝度積分平均値cYが輝度積分平均値wYより大きくないと判断すると、ステップS39に進み、明るさ比較部101は、ステップS32で算出した積分平均値wR、積分平均値wG、積分平均値wB、ステップS33で算出した輝度積分平均値wYを比較し、最もレベルの高い積分平均値を評価用積分平均値Sとする。
そして、この評価用積分平均値Sとされた値に基づいて露出制御が行なわれることになる(図2のステップS7〜ステップS9、ステップS11)。
つまり、2つの測光範囲(中央領域の範囲と、中央を重点とした全範囲)のうち、明るいと判断された方の測光範囲で露出制御を行なうことになる。
また、この露出制御は、明るいと判断された測光範囲の中で最もレベルの高い成分(輝度成分、R成分、G成分、B成分のうち最もレベルの高い成分)で露出制御を行なうことになる。
C.以上のように、第1の実施の形態においては、夜景モードがOnの場合は、中央領域を範囲とした測光範囲の画像データの明るさと、全範囲を測光範囲として、且つ、中央を重点とした測光範囲の画像データの明るさとを比較し、明るい方の測光範囲の画像データに基づいて露出制御を行なうので、メイン被写体の白飛びを低減させ、露出制御の精度の向上させることができ、異常な露出状態を回避することができる。また、動画データ、静止画像データの露出制御を向上させることができ、異常な露出状態を回避することができる。
ここで、図6は、背景が暗い場合において、メイン被写体21にスポット光が当たっている等により背景とメイン被写体21の明るさの差が大きい時の様子の一例を示す図である。
このときに、例えば、図6(A)に示すように、明るく小さい被写体が画角の中央領域にいる場合は、画角の中央領域の輝度積分平均値cY(中央部スポット測光による平均輝度)は、測光範囲全体に占める被写体の割合が大きいので被写体の明るさにより近い輝度値となる。一方、画像データの全領域の中央を重み付けした輝度積分平均値wY(中央部重点測光による平均輝度)は、背景の暗い部分の影響度が大きいので被写体の明るさよりもだいぶ暗い輝度値となる。しかしながら、第1の実施の形態のような制御を行うことで、このような場合には、自動的に画角の中央領域の積分平均値(cR、cG、cB、cYの何れかの値)が選択されて露出制御を行なうことになり、メイン被写体21が白飛びすることなく適切に露出制御を行なうことができる。第1の実施の形態のような制御を行うことなく、このような場合まで画像データの全領域の中央を重み付けした積分値(wR、wG、wB、wYの何れかの値)を用いて露出制御を行なうと(画像データの周辺部の明るさを考慮した露出制御を行なうと)、メイン被写体21が白飛びしてしまう可能性があり、また、たとえ白飛びしなくても、メイン被写体21が過度に明るい画像データが得られてしまいという弊害が発生するが、第1の実施の形態のような制御を行うことによりこのような弊害を防止することができる。
また、図6(B)に示すように、明るい被写体が画角の中央領域以外にいる場合は、画角の中央領域の輝度積分平均値cY(中央部スポット測光による平均輝度)は、測光範囲全体に占める被写体の割合が小さいので被写体の明るさよりもだいぶ暗い輝度値となる。一方、画像データの全領域の中央を重み付けした輝度積分平均値wY(中央部重点測光による平均輝度)は、被写体と背景の両方を考慮した輝度値となる。しかしながら、第1の実施の形態のような制御を行うことで、このような場合には、画角の中央領域の輝度積分平均値cYは、画像データの全領域の中央を重み付けした輝度積分平均値wYより大きくならないので、画像データの全領域の中央を重み付けした積分平均値(wR、wG、wB、wYの何れかの値)が自動的に選択されて露出制御を行なうことになり、メイン被写体21の極端な白飛びを低減させることができる。つまり、画像データの全領域の中央を重み付けした積分平均値は、メイン被写体21が周辺部に存在する場合であってもメイン被写体21の明るさが多少なりとも考慮されているのでメイン被写体の極端な白飛びを低減させることができる。第1の実施の形態のような制御を行うことなく、このような場合まで、画角の中央領域の積分平均値(cR、cG、cB、cYの何れかの値)、つまり、メイン被写体21の明るさが殆ど若しくは全く影響されていない積分平均値を用いて露出制御を行なうと、メイン被写体21が白飛びしてしまう可能性が著しく高くなるからである。
また、色成分がr成分の積分平均値R、g成分の積分平均値G、b成分の積分平均値B、輝度成分の輝度積分平均値Yのうち、最もレベルが高い値を評価用積分平均値Sとして露出制御を行なうので、白飛びを更に低減させることができる。例えば、メイン被写体21が人の場合は、肌の色により赤みが強くなり、r成分の積分平均値Rに基づいて露出制御を行なうことにより肌の白飛びを抑えることができる。
つまり、第1の実施の形態は、メインとなる被写体は画角の中央に存在する可能性が高いという性質を利用して、最適な露出制御を行なえるようにしたものである。
また、夜景モードがOnでない場合は、画像データの全領域を測光範囲として露出制御を行なうので、画像データ全体の明るさに応じた露出制御を行なうことができる。
[第2の実施の形態]
次に第2の実施の形態について説明する。
D.デジタルカメラ1の動作
第2の実施の形態も、図1に示したものと同様の構成を有するデジタルカメラ1を用いることにより本発明の撮像装置を実現する。
また、第2の実施の形態では、評価用積分平均値Sの算出処理が、第1の実施の形態と異なるので、第2の実施の形態における評価用積分平均値Sの算出処理のみを説明する。
以下、第2の実施の形態の評価用積分平均値Sの算出処理の動作を図7及び図8のフローチャートにしたがって説明する。
評価用積分平均値Sの算出処理を行うと判断すると、つまり、図2のステップS6に進むと、図7のステップS51に進み、CPU10の明るさ算出部101は、直近に撮像されたフレーム画像データの各領域のRデータ、Gデータ、Bデータ毎(色成分毎)にそれぞれの積分値r、g、bを算出する。
ここでは、第1の実施の形態と同様に、フレーム画像データを縦16×横16の領域に分けるものとするが、これに限られない。
次いで、ステップS52で、明るさ算出部101は、該算出された各領域の積分値rから画角の中央を重み付けした画角全体の積分平均値wRの算出、各領域の積分値gから画角の中央を重み付けした積分平均値wGの算出、各領域の積分値bから画角の中央を重み付けした積分平均値wBの算出を行う。
次いで、ステップS53で、明るさ算出部101は、該算出した積分平均値wR、wG、wBを用いて画角の中央を重み付けした輝度積分平均値wYを算出する。
次いで、ステップS54で、明るさ算出部101は、現在、夜景モードがonであるか否かを判断する。
ステップS54で、夜景モードがonであると判断すると、ステップS55に進み、明るさ算出部101は、画角の1/4の大きさを有する中央領域のステップS31で算出された各領域の積分値rから該中央領域の積分平均値cRの算出、画角の1/4の大きさを有する中央領域のステップS31で算出された各領域の積分値gから該中央領域の積分平均値cGの算出、画角の1/4の大きさを有する中央領域のステップS31で算出された各領域の積分値bから該中央領域の積分平均値cBの算出を行う。
次いで、ステップS56に進み、明るさ算出部101は、該算出した積分平均値cR、cG、cBを用いて、画角の1/4の大きさを有する中央領域の輝度積分平均値cYを算出する。
ここまでの動作は、第1の実施の形態と同様である。
次いで、ステップS57に進み、明るさ算出部101は、画角の1/4の大きさを有する画角の左領域のステップS51で算出された各領域の積分値rから該左領域の積分平均値lRの算出、画角の1/4の大きさを有する画角の左領域のステップS31で算出された各領域の積分値gから該左領域の積分平均値lGの算出、画角の1/4の大きさを有する画角の左領域のステップS31で算出された各領域の積分値bから該左領域の積分平均値lBの算出を行う。
図9は、画角の1/4の大きさを有する画角の中央領域の範囲、左領域の範囲、右領域の範囲を示す図である。実線で記している枠が中央領域を表しており、点線で記している枠が左領域を表しており、破線で記している枠が右領域を表している。この左領域は、領域65〜領域72、領域81〜領域88、領域97〜領域104、領域113〜領域120、領域129〜領域136、領域145〜領域152、領域161〜領域168、領域177〜領域184から成るので(図4(A)参照)、これらの領域の積分値r、g、bに基づいて、それぞれ積分平均値lR、積分平均値lG、積分平均値lBをそれぞれ算出することになる。
次いで、ステップS58に進み、明るさ算出部101は、該算出した積分平均値lR、lG、lBを用いて、画角の1/4の大きさを有する左領域の輝度積分平均値lYを算出する。
このステップS57、ステップS58の動作を見ると分かるように、測光範囲は画角の左領域の範囲であることが分かる。
次いで、ステップS59で、明るさ算出部101は、画角の1/4の大きさを有する画角の右領域のステップS51で算出された各領域の積分値rから該右領域の積分平均値rRの算出、画角の1/4の大きさを有する画角の右領域のステップS31で算出された各領域の積分値gから該右領域の積分平均値rGの算出、画角の1/4の大きさを有する画角の右領域のステップS31で算出された各領域の積分値bから該右領域の積分平均値rBの算出を行う。
図9(A)に示すように、この右領域は、領域71〜領域78、領域87〜領域94、領域103〜領域110、領域119〜領域126、領域135〜領域142、領域151〜領域158、領域167〜領域174、領域183〜領域190から成るので(図4(A)参照)、これらの領域の積分値r、g、bに基づいて、それぞれ積分平均値rR、積分平均値rG、積分平均値rBをそれぞれ算出することになる。
次いで、ステップS60に進み、明るさ算出部101は、該算出した積分平均値rR、rG、rBを用いて、画角の1/4の大きさを有する右領域の輝度積分平均値rYを算出する。
このステップS59、ステップS60の動作を見ると分かるように、測光範囲は画角の右領域の範囲であることが分かる。
次いで、図8のステップS61で、明るさ比較部102は、ステップS56で算出した画角の中央領域の輝度積分平均値cY、ステップS58で算出した画角の左領域の輝度積分平均値lY、ステップS60で算出した画角の右領域の輝度積分平均値rYを比較し、最もレベルが高い輝度積分平均値が算出された領域(測光範囲)を特定する。例えば、輝度積分平均値cYが最もレベルが高い場合は中央領域を特定し、輝度積分平均値lYが最もレベルが高い場合は左領域を特定し、輝度積分平均値cRが最もレベルが高い場合は右領域を特定する。
次いで、ステップS62で、明るさ比較部102は、該特定した領域(測光範囲)の輝度積分平均値Yと、ステップS103で算出した輝度積分平均値wYとを比較し、該特定した領域の輝度積分平均値Yが輝度積分平均値wYより大きいか否かを判断する。つまり、一番明るいと判断された1部の領域である測光範囲の画像データと、全範囲を測光範囲として、且つ、中央を重点とした測光範囲の画像データとのどちらが明るいかを判断している。
ステップS62で、該特定した領域の輝度積分平均値Yが輝度積分平均値wYより大きいと判断された場合は、ステップS63に進み、明るさ比較部102は、該特定された領域の輝度積分平均値、積分平均値R、積分平均値G、積分平均値Bを比較し、最もレベルの高い積分平均値を評価用積平均値Sとする。
一方、ステップS104で夜景モードがOnでないと判断された場合、ステップS62で該特定した領域の輝度積分平均値Yが輝度積分平均値wYより大きくないと判断された場合は、ステップS64に進み、明るさ比較部102は、ステップS52で算出した積分平均値wR、積分平均値wG、積分平均値wB、ステップS53で算出した輝度積分平均値wYとを比較し、最もレベルの高い積分平均値を評価用積分平均値Sとする。
そして、この評価用積分平均値Sとされた値に基づいて露出制御が行なわれることになる(図2のステップS7〜ステップS9、ステップS11)。
つまり、まずは、画角の中央領域を範囲とする測光範囲と、画角の左領域を範囲とする測光範囲と、画角の右領域を範囲とする測光範囲うち、一番明るいと判断された測光範囲と、中央を重点とした測光範囲と比較し、明るいと判断された測光範囲で露出制御を行なうことになる。
また、この露出制御は、明るいと判断された測光範囲の中で最もレベルの高い成分(輝度成分、R成分、G成分、B成分のうち最もレベルの高い成分)で露出制御を行なうことになる。
E.以上のように、第2の実施の形態においては、夜景モードがOnの場合は、画角の中央領域を範囲とした測光範囲の画像データ、画角の左領域を範囲とした測光範囲の画像データ、画角の右領域を範囲とした測光範囲の画像データのうち、1番レベルが高い測光範囲の画像データと、全範囲を測光範囲として、且つ、中央を重点した測光範囲の画像データとの明るさを比較し、明るい方の測光範囲の画像データに基づいて露出制御を行なうので、メイン被写体の白飛びを低減させ、適切に露出制御を行なうことができ、異常な露出状態を回避することができる。
例えば、図9(B)に示すように、背景が暗くメイン被写体21が小さく明るい場合であって、メイン被写体21が画角の右側にいる場合は、画角の右領域に占める被写体の割合が最も大きいので、画角の右領域の輝度積分平均値rYが最も被写体の明るさに近い輝度値となる。そして、画角の中央領域の輝度積分値cYと、画角の左領域の輝度積分値lYと、画角の右領域の輝度積分平均値rYの中で、画角の右領域の輝度積分平均値rYのレベルが最も高くなるので、第2の実施の形態のような制御を行うことで、このような場合には、自動的に画角の右領域の積分値(rR、rG、rB、rYの何れかの値)が選択されて露出制御を行なうことになり、メイン被写体21が白飛びすることなく適切に露出制御を行なうことができる。つまり、背景とメイン被写体21の明るさの差が大きい状況下で、メイン被写体21がどの位置にいても、画像が白飛びしない適切な露出制御を行なうことができる。
[第3の実施の形態]
次に第3の実施の形態について説明する。
上記第1の実施の形態においては、静止画撮影を制御の対象としたが、第3の実施の形態では、動画撮影を対象として制御を行うものである。
F.デジタルカメラ1の動作
第3の実施の形態では、図2に示すフローチャートにおいて、ステップS1およびステップS10以降の処理が動画撮影用に特化された制御内容となる。
ステップS1では、ユーザによる動画撮影の開始指示があった場合に動画撮影記録処理を開始する。そして、ステップS10では、ユーザによる動画撮影の終了指示があったか否かを判断し、動画撮影の終了が指示されていないと判断された場合には、ステップS8またはステップS9で設定(制御)された露出条件(絞り、シャッタ速度、感度など)で、動画フレームの撮像処理を行い、該得られた動画フレームの画像データをDRAM11に一時記憶した後に前後のフレームの画像データと合わせて圧縮処理などを行ってからフラッシュメモリ13に記録する処理を行い、その後ステップS2に戻る。つまり、露出制御部101は、ステップS6で算出された評価用積分平均値Sに基づいて、動画撮影処理により得られる各フレーム画像データの露出を制御する。
一方、ステップS10で、ユーザによる動画撮影の終了指示があった場合には、動画撮影記録処理を終了する。
以上のように、第3の実施の形態においては、動画撮影中において被写体が画角内で移動する場合でも、被写体の動きに合わせて自動的に最適な測光範囲を選択するので、第1及び2の実施の形態における効果に加えて更に、動画撮影中にユーザが測光モードを切り換える操作を行ったり、被写体が画角の中央からはみ出さないように注意しながら撮影を行うような煩雑さを無くすことができる。
なお、第3実施の形態における評価用積分平均値Sの算出処理は、上記第1の実施の形態で説明したような態様であってもよいし、第2の実施の形態で説明したような態様であってもよい。
[変形例]
G.上記実施の形態は以下のような態様でもよい。
(01)上記第1の実施の形態においては、ステップS35、ステップS36で、画角の中央領域の積分平均値cR、cG、cB、輝度積分平均値cYを算出するようにしたが、中央領域以外の領域であってもよい。この場合は、ユーザによって指定された領域(例えば、AFエリアとして指定された領域)であってもよい。これにより、メイン被写体に対して適切に露出制御を行なうことができる。
また、上記第2の実施の形態においては、ステップS55、ステップS56で画角の中央領域の積分平均値cR、cG、cB、輝度積分平均値cYを算出し、ステップS57〜ステップS60で、その左右の領域の積分平均値lR、rR、lG、rG、lB、rB、輝度積分平均値lY、rYを算出するようにしたが、予め定められた所定の領域又はユーザによって指定された領域と、その領域の左右の領域の積分平均値R、G、Bと輝度積分平均値Yを算出するようにしてもよい。また、他の方法で分割された複数領域であってもよく、サイズの異なる領域が含まれていてもよい。これにより、メイン被写体に対して適切に露出制御を行なうことができる。
(02)上記第1の実施の形態においては、ステップS37で、輝度積分平均値cYと輝度積分平均値wYとを比較することにより、画角の中央領域を範囲とした測光範囲の画像データと、画角の中央を重み付けした画角の全範囲の画像データとのどちらを露出制御に用いるか否かを判断し、該判断された画像データの積分平均値R、G、B、Yのうち最もレベルの高いものを評価用積分値Sとしたが、単に、画角の中央領域を範囲とした測光範囲の画像データに基づいて算出された積分平均値cR、cG、cB、輝度積分平均値cY、及び、画角の中央を重み付けした画角の全範囲の画像データとに基づいて算出された積分平均値wR、wG、wB、輝度積分平均値wYを全て比較して、最もレベルの高い積分平均値を評価用積分平均値Sとするようにしてもよい。つまり、全ての成分(R成分、G成分、B成分、輝度成分)を用いてどちらの測光範囲の画像データを用いるかを判断するようにしてもよい。
また、第2の実施の形態も同様に、ステップS61で輝度積分平均値cY、lY、rYのうち最もレベルの高い輝度積分値が算出された領域を特定し、ステップS62で該特定した領域の輝度積分平均値と、画角の中央を重み付けした画角の全範囲を重み付けした輝度積分平均値wYとを比較することにより、ステップS61で特定された領域の画像データと、画角の中央を重み付けした画角の全範囲の画像データとのどちらを露出制御に用いるか否かを判断し、該判断された画像データの積分平均値R、G、B、Yのうち最もレベルの高いものを評価用積分平均値Sとしたが、単に、画角の中央領域、右領域、左領域を範囲としたそれぞれの測光範囲の画像データに基づいて算出された積分平均値cR、lR、rR、cG、lG、rG、cB、lB、rB、輝度積分平均値cY、lY、rY、及び、画角の中央を重み付けした画角の全範囲の画像データとに基づいて算出された積分平均値wR、wG、wB、輝度積分平均値wYを全て比較して、最もレベルの高い積分平均値を評価用積分平均値Sとするようにしてもよい。つまり、全ての成分(R成分、G成分、B成分、輝度成分)を用いてどの測光範囲の画像データを用いるかを判断するようにしてもよい。
(03)上記第2の実施の形態においては、ステップS57〜ステップS60では、中央領域の左右の領域の積分平均値lR、rR、lG、rG、lB、rB、輝度積分平均値lY、rYを算出するようにしたが、中央領域の左右の領域に限らず、上下の領域等の周辺の領域であればよく、また、この周辺の領域は2つに限られず、3つや4つ等でもよい。
(04)上記第2の実施の形態においては、ステップS61で輝度積分平均値cY、lY、rYのうち最もレベルの高い輝度積分値が算出された領域を特定し、ステップS62で該特定した領域の輝度積分平均値と、画角の中央を重み付けした画角の全範囲の輝度積分平均値wYとを比較することにより、ステップS61で特定された領域の画像データと、画角の中央を重み付けした画角の全範囲の画像データとのどちらを露出制御に用いるか否かを判断し、該判断された画像データの積分平均値R、G、B、Yのうち最もレベルの高いものを評価用積分平均値Sとしたが、ステップS61で特定された輝度積分平均値cY、lY、rYのうち最もレベルの高い輝度積分値が算出された領域の画像データの積分平均値R、G、B、Yのうち最もレベルの高いものを評価用積分平均値Sとするようにしてもよい。つまり、画像データの全領域の1部である複数の測光範囲の画像データのうち、最も明るい測光範囲の画像データに基づいて露出制御を行うようにしてもよい。要は、複数の測光範囲の画像データの明るさを比較し、最も明るい測光範囲の画像データに基づいて露出制御を行なうものであればよい。
(05)上記第各実施の形態においては、画角の1部の領域である測光範囲の画像データと、画角の中央を重み付けした画角の全範囲の画像データとの明るさを比較するようにしたが、画角の中央を重み付けした画角の全範囲の画像データと、画角の中央以外の領域を重み付けした全範囲の画像データ(複数であってもよい)との明るさを比較し、明るい方の画像データに基づいて露出制御を行なうようにしてもよい。
つまり、同一の測光範囲で、重み付けする領域が異なる画像データ同士を比較するようにしてもよい。
(06)上記第各実施の形態においては、中央領域となる範囲の測光範囲、及び、右領域となる範囲の測光範囲、左領域となる範囲の測光範囲は、画角の1/4の大きさとしたが、これに限られず、ユーザがその大きさを指定することができるようにしてもよい。要は、測光範囲が画角の1部であればよい。これにより、メイン被写体の大きさに合わせて測光範囲のサイズを指定することができるので、メイン被写体に対して適切に露出制御を行なうことができる。
(07)上記第各実施の形態においては、ステップS32、ステップS33、ステップS52、ステップS53では、中央を重み付けした積分平均値wR、wG、wB、wYを算出するようにしたが、中央を重み付けしないで画角全体の積分平均値R、G、B、Yを算出するようにしてもよい。この中央を重み付けない画角全体の積分平均値とは、全ての領域を重み付けしないで算出された積分平均値と、全ての領域を均等に重み付けして算出された積分平均値との両方をさす。
この場合でも、画像全体の明るさを得ることができるとともに、露出制御の精度を向上させ、異常な露出状態となることを回避させることはできるからである。
(08)上記第各実施の形態においては、ステップS32、ステップS33、ステップS52、ステップS53では、中央を重み付けした積分平均値wR、wG、wB、wYを算出するようにしたが、中央でなく他の領域を重み付けした積分平均値wR、wG、wB、wYを算出するようにしてもよい。この場合は、ユーザによって指定された領域((例えば、AFエリアとして指定された領域)を重み付けするようにしてもよい。
(09)上記第各実施の形態においては、ステップS32、ステップS33、ステップS52、ステップS53では、測光範囲(第1の測光範囲)を画角の全範囲(画像データの全領域)とするようにしたが、画角の全範囲でなくてもよい。要は、ステップS35、ステップS36、ステップS55〜ステップS60の測光範囲(第2の測光範囲)より大きければよい。
(10)上記各実施の形態においては、ステップS37、ステップS62では、輝度成分、つまり、輝度積分平均値Yに基づいて比較するようにしたが、R成分(積分平均値R)に基づいて比較するようにしてもよいし、G成分(積分平均値G)、又はB成分(積分平均値)に基づいて比較するようにしてもよい。
例えば、ステップS37の比較をG成分に基づいて行なう場合は、積分平均値cGが積分平均値wGより大きいか否かを判断することになる。
要は、画像データの明るさを比較することができればよい。
(11)また、上記各実施の形態においては、ステップS38、ステップS39、ステップS63、ステップS64で、R成分の積分平均値R、G成分の積分平均値G、B成分の積分平均値B、輝度成分の輝度積分平均値Yうち最もレベルの高い成分を評価用積分平均値Sとするようにしたが、レベルの高低にかかわらず積分平均値R、積分平均値G、積分平均値B、輝度積分平均値Yのうち、何れか1つの積分平均値を評価用積分平均値Sとするようにしてもよい。例えば、一律に輝度積分平均値Yを評価用積分平均値Sとするようにしてもよい。
(12)また、上記各実施の形態においては、夜景モードがOnの場合もOffの場合も、画角の中央を重み付けした全範囲の画像データの積分平均値wR、wG、wB、輝度積分平均値wYを算出するようにしたが、つまり、同じ大きさの測光範囲の所定領域を重み付けした積分平均値を算出するようにしたが(ステップS32及びステップS33、ステップS52及びステップS53)、夜景モードがOnの場合の測光範囲を、夜景モードがOffの場合の測光範囲より小さくするようにしてもよい。
具体的に説明すると、図3、図7及び8に示す評価用積分平均値Sの算出処理が開始され、ステップS31、ステップS51で、フレーム画像の各領域のR、G、B毎に積分値r、g、bを算出すると、夜景モードがOnであるか否かを判断し、夜景モードがOnでない、つまり、Offであると判断すると、測光範囲を画像の全領域とし、画角の中央を重み付けした全範囲の画像データの積分平均値wR、wG、wB、輝度積分平均値wYを算出して、ステップS39、ステップS64に進む。
一方、夜景モードがOnであると判断すると、測光範囲を、画像の全領域より小さく、且つ、ステップS35及びステップS36、ステップS55〜ステップS60の測光範囲(ここでは画角の1/4)より大きい範囲とし、該範囲の画角の中央を重み付けした画像データの積分平均値wR、wG、wB、輝度積分平均値wYを算出して、ステップS35、ステップS55に進むようにする。
この夜景モードがOffの場合の測光範囲を、夜景モードがOnの場合の測光範囲より大きくするので、広範囲の画像データの明るさに基づいて露出制御を行なうことができ、適切な露出制御を行なうことができ異常な露出状態を回避することができる。
(13)また、上記実施の形態においては、積分平均値R、G、Bの算出を、各領域のr−sum[n]、g−sum[n]、b−sum[n]と所定領域重点の場合における各領域の重み付け係数weight[n]とを同じ領域同士で乗算し、該乗算後の積分値g、bそれぞれの総和を、重み付け係数weight[n]の総和で除算することにより行なうようにしたが、各領域のr−sum[n]、g−sum[n]、b−sum[n]と所定領域重点の場合における各領域の重み付け係数weight[n]とを同じ領域同士で乗算し、該乗算後の積分値r、g、bそれぞれの総和を、領域の総数(ここでは、256)で除算するようにしてもよい。
(14)また、上記各実施の形態においては、夜景モードがOnされた時に、画角の1部の領域を範囲とした測光範囲の画像データと、画角の全範囲を測光範囲とし、且つ、中央を重み付けした画像データとを比較して、露出制御を行なうようにしたが、夜景モードに限らず、逆光なのどの背景と被写体との明るさの差が大きくなるような状況下での撮影モード(所定のモード)が設定された時に、この動作を実行させるようにしてもよい。
(15)また、上記各実施の形態においては、夜景モードがOnされた時に、画角の1部の領域を範囲とした測光範囲の画像データと、画角の全範囲を測光範囲とし、且つ、中央を重み付けした画像データとを比較して、露出制御を行なうようにしたが、ストロボ発光が指定されている場合に撮影シーンが夜景であると判定したり、測光状況に応じて自動的に夜景であるか否かを判断するようにしてもよい。また、夜景ではなくとも夜景と同等の撮影状況であるか否かを判断するようにしてもよい。つまり、被写体の明るさと背景の明るさとに大きな差があり、且つ、被写体の方がより明るいことが予め特定できるような撮影条件であるか否かを判定すればよい。
また、夜景シーンとは逆に、逆光シーンなど、被写体の明るさと背景の明るさとに大きな差があり、且つ、被写体の方がより暗いことが予め特定できるような撮影条件であるか否かを判定し、このような撮影条件である場合には、複数の測光範囲の中で最もレベルの低い測光範囲を選択するようにしてもよい。このようにすれば、メイン被写体が暗く沈むことを防止することができ、露出制御の精度を向上させることができ、異常な露出状態を回避することができる。
また、被写体を画角の中央に納めることを前提とした撮影状況においては、被写体と背景のどちらが明るいかを特定できない場合であっても、被写体の明るさと背景の明るさとに大きな差があることが特定できた場合には、複数の測光範囲の中で最も範囲の小さい測光範囲を選択したり、測光範囲を動的に小さく変更するようにしてもよい。このようにすれば、被写体が小さい場合であっても、測光範囲の中に占める被写体の割合をより大きくすることができ、より適切な露出を得る可能性が増す。
また、この場合に、測光範囲をどの程度小さく変更するかは、画角内の被写体の大きさによって決まる。つまり、画角内の被写体の大きさに対して測光範囲が大き過ぎると、測光範囲内に占める背景の影響が大きくなり、画角内の被写体の大きさに対して測光範囲が小さ過ぎると、被写体が中央からずれた場合に対応できなくなってしまうので、画角内の被写体の大きさとのバランスのとれるように測光範囲の大きさを設定することが望ましい。
(16)また、上記各実施の形態においては、夜景モードがOnされた時に、画角の1部の領域を範囲とした測光範囲の画像データと、画角の全範囲を測光範囲とし、且つ、中央を重み付けした画像データとを比較して、露出制御を行なうようにしたが、夜景モードでない普通のモードでもこのような動作を行なうようにしてもよい。メイン被写体21と背景の明るさの差がない場合等であっても、中央領域を範囲とした測光範囲の画像データの明るさと、全範囲を測光範囲として、且つ、中央を重点とした測光範囲の画像データの明るさとを比較し、明るい方の測光範囲の画像データに基づいて露出制御を行なうことにより、画像の白飛びを防ぐことができ、或いはある部分の画像が極端に明るすぎるという露出制御を行なうことがない。
(17)また、上記変形例(01)〜(16)を矛盾が生じない範囲内で任意に組み合わせるような態様であってもよい。
(18)また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
本発明は、要は、複数の測光範囲の画像データを比較し、該比較結果に基づいて、何れか1つの測光範囲の画像データに基づいて露出制御を行なうものであればよい。
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、露出制御を行なうことができる機器であれば適用可能である。
本発明の実施の形態のデジタルカメラのブロック図である。 本実施の形態のデジタルカメラ1の動作を示すフローチャートである。 第1の実施の形態における評価用積分平均値の算出処理の動作を示すフローチャートである。 フレーム画像データの各領域の様子を示す、及び、中央重点となるような各領域の重み付け係数の一例を示す図である。 中央領域の範囲を示す図である。 背景が暗い場合において、メイン被写体21にスポット光が当たっている等により背景とメイン被写体21の明るさの差が大きい時の様子、及び、中央領域の範囲の様子を示す図である。 第1の実施の形態における評価用積分平均値の算出処理の動作を示すフローチャートである。 第2の実施の形態における評価用積分平均値の算出処理の動作を示すフローチャートである。 第2の実施の形態における画角の中央領域の範囲等を示す図、及び、背景が暗くメイン被写体21が明るい場合であって、メイン被写体21が画角の中央にいない場合のときの様子、及び、中央領域等の範囲を示す図である。
符号の説明
1 デジタルカメラ
2 撮影レンズ
3 レンズ駆動ブロック
4 絞り
5 CCD
6 ドライバ
7 TG
8 ユニット回路
9 メモリ
10 CPU
11 DRAM
12 画像表示部
13 フラッシュメモリ
14 キー入力部
15 バス

Claims (23)

  1. 被写体を撮像する撮像素子と、
    前記撮像素子により得られた画像データに基づいて、複数の測光範囲の画像データの明るさを比較する比較手段と、
    前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御する露出制御手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記比較手段は、
    第1の測光範囲の画像データと、該第1の測光範囲より小さい第2の測光範囲の画像データとの明るさを比較することを特徴とする請求項1記載の撮像装置。
  3. 前記第2の測光範囲は、
    画角の中央領域、又は、ユーザによって指定された任意の領域であることを特徴とする請求項2記載の撮像装置。
  4. 前記第2の測光範囲は、
    所定のサイズ、又は、ユーザによって指定された任意のサイズであることを特徴とする請求項2又は3記載の撮像装置。
  5. 前記比較手段は、
    第1の測光範囲の画像データ、及び、該第1の測光範囲より小さい複数の第2の測光範囲の画像データの明るさを比較することを特徴とする請求項1記載の撮像装置。
  6. 前記複数の第2の測光範囲は、
    画角の中央領域、又は、ユーザによって任意に指定された領域と、その周辺の領域であることを特徴とする請求項5記載の撮像装置。
  7. 前記第1の測光範囲の画像データは、
    前記撮像素子により得られた全領域の画像データであることを特徴とする請求項2乃至6の何れかに記載の撮像装置。
  8. 前記比較手段は、
    前記第1の測光範囲の画像データうち、所定の領域を重み付けした画像データを、前記第1の測光範囲の画像データとして用いることを特徴とする請求項2乃至7の何れかに記載の撮像装置。
  9. 前記露出制御手段は、
    前記比較手段による比較結果に基づいて選択した測光範囲が、前記第1の測光範囲である場合は、前記所定の領域を重み付けした画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項8記載の撮像装置。
  10. 前記比較手段は、
    前記撮像素子により得られた画像データの輝度成分に基づいて、比較することを特徴とする請求項1乃至9の何れかに記載の撮像装置。
  11. 前記撮像素子は、複数の色フィルターを有しており、
    前記比較手段は、
    前記撮像素子により得られた画像データの輝度成分及び各色の色成分に基づいて、比較することを特徴とする請求項1乃至9の何れかに記載の撮像装置。
  12. 前記撮像素子は、複数の色フィルターを有しており、
    前記露出制御手段は、
    前記比較手段による比較結果に基づいて明るいと判断された測光範囲の画像データの輝度成分、各色の色成分のうち、何れか1つの成分に基づいて、露出量を制御することを特徴とする請求項1乃至11の何れかに記載の撮像装置。
  13. 前記露出制御手段は、
    輝度成分、各色の色成分のうち、最も明るさのレベルが高い成分に基づいて露出制御を行なうことを特徴とする請求項12記載の撮像装置。
  14. 前記撮像素子を用いて被写体の動画の撮像を制御する動画撮像制御手段を備え、
    前記比較手段は、
    前記動画撮像制御手段により順次撮像されるフレーム画像データに基づいて、複数の測光範囲の画像データの明るさを比較していき、
    前記露出制御手段は、
    前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択していき、該順次選択された測光範囲の画像データに基づいて、前記動画撮像制御手段により順次撮像されるフレーム画像データの露出量を制御していくことを特徴とする請求項1乃至13の何れかに記載の撮像装置。
  15. 前記撮像素子を用いて被写体の静止画の撮影を制御する静止画撮影制御手段を備え、
    前記露出制御手段は、
    前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記静止画撮影制御手段により撮影される静止画像データの露出量を制御することを特徴とする請求項1乃至14の何れかに記載の撮像装置。
  16. 所定のモードを設定する設定手段を備え、
    前記比較手段は、
    前記設定手段により所定のモードが設定されている場合に、比較動作を実行し、
    前記露出制御手段は、
    前記設定手段により所定のモードが設定されている場合は、前記比較手段による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項1乃至15の何れかに記載の撮像装置。
  17. 前記所定のモードは、
    背景の明るさよりも被写体の明るさの方が明るいときの撮影におけるモードであり、
    前記露出制御手段は、
    前記設定手段により所定のモードが設定されている場合は、前記比較手段による比較結果に基づいて最も明るい測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項16記載の撮像装置。
  18. 前記所定のモードは、
    背景の明るさよりも被写体の明るさの方が暗いときの撮影におけるモードであり、
    前記露出制御手段は、
    前記設定手段により所定のモードが設定されている場合は、前記比較手段による比較結果に基づいて最も暗い測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項16記載の撮像装置。
  19. 背景の明るさよりも被写体の明るさの方が明るくなる第1の撮影状況であるか否かを特定する第1の特定手段を更に備え、
    前記露出制御手段は、
    前記特定手段により前記第1の撮影状況であることが特定された場合に、前記比較手段による比較結果に基づいて最も明るい測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項1乃至15の何れかに記載の撮像装置。
  20. 前記露出制御手段は、
    前記特定手段により前記第1の撮影状況でないことが特定された場合に、前記比較手段による比較結果とは関係無く所定の測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項19記載の撮像装置。
  21. 前記露出制御手段は、
    前記特定手段により前記第1の撮影状況でないことが特定された場合に、前記第1の撮影状況であることが特定された場合に選択される測光範囲以上の大きさを有する測光範囲を選択し、この選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項20記載の撮像装置。
  22. 背景の明るさよりも被写体の明るさの方が暗くなる第2の撮影状況であるか否かを特定する第2の特定手段を更に備え、
    前記露出制御手段は、
    前記特定手段により前記第2の撮影状況であることが特定された場合に、前記比較手段による比較結果に基づいて最も暗い測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御することを特徴とする請求項1乃至15の何れかに記載の撮像装置。
  23. 被写体を撮像する撮像素子により得られた画像データに基づいて、複数の測光範囲の画像データの明るさを比較する比較処理と、
    前記比較処理による比較結果に基づいて何れかの1つの測光範囲の画像データを選択し、該選択された測光範囲の画像データに基づいて、前記撮像素子により撮像される画像データの露出量を制御する露出制御処理と、
    を含み、上記各処理をコンピュータで実行することを特徴とするプログラム。
JP2007183088A 2007-07-12 2007-07-12 撮像装置及びそのプログラム Expired - Fee Related JP5316923B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007183088A JP5316923B2 (ja) 2007-07-12 2007-07-12 撮像装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007183088A JP5316923B2 (ja) 2007-07-12 2007-07-12 撮像装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2009020327A true JP2009020327A (ja) 2009-01-29
JP5316923B2 JP5316923B2 (ja) 2013-10-16

Family

ID=40360008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007183088A Expired - Fee Related JP5316923B2 (ja) 2007-07-12 2007-07-12 撮像装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5316923B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013040997A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
JP2013214878A (ja) * 2012-04-02 2013-10-17 Canon Inc 撮像装置、露出制御方法、及びプログラム
JP2015219416A (ja) * 2014-05-19 2015-12-07 リコーイメージング株式会社 撮像装置及び露光量制御方法
CN114885096A (zh) * 2022-03-29 2022-08-09 北京旷视科技有限公司 拍摄模式切换方法、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11150680A (ja) * 1997-11-19 1999-06-02 Matsushita Electric Ind Co Ltd 露光制御装置
JP2004004361A (ja) * 2002-05-31 2004-01-08 Olympus Corp デジタルカメラ及びカメラシステム
JP2005156967A (ja) * 2003-11-26 2005-06-16 Fuji Photo Film Co Ltd デジタルカメラ及び画像処理装置
JP2007036438A (ja) * 2005-07-25 2007-02-08 Fujifilm Holdings Corp 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11150680A (ja) * 1997-11-19 1999-06-02 Matsushita Electric Ind Co Ltd 露光制御装置
JP2004004361A (ja) * 2002-05-31 2004-01-08 Olympus Corp デジタルカメラ及びカメラシステム
JP2005156967A (ja) * 2003-11-26 2005-06-16 Fuji Photo Film Co Ltd デジタルカメラ及び画像処理装置
JP2007036438A (ja) * 2005-07-25 2007-02-08 Fujifilm Holdings Corp 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013040997A (ja) * 2011-08-11 2013-02-28 Nikon Corp 露出演算装置およびカメラ
JP2013214878A (ja) * 2012-04-02 2013-10-17 Canon Inc 撮像装置、露出制御方法、及びプログラム
JP2015219416A (ja) * 2014-05-19 2015-12-07 リコーイメージング株式会社 撮像装置及び露光量制御方法
CN114885096A (zh) * 2022-03-29 2022-08-09 北京旷视科技有限公司 拍摄模式切换方法、电子设备及存储介质
CN114885096B (zh) * 2022-03-29 2024-03-15 北京旷视科技有限公司 拍摄模式切换方法、电子设备及存储介质

Also Published As

Publication number Publication date
JP5316923B2 (ja) 2013-10-16

Similar Documents

Publication Publication Date Title
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
JP4115467B2 (ja) 撮影装置
JP2007264196A (ja) ストロボ制御装置及び方法
JP4843009B2 (ja) カメラのレンズ制御方法及び装置、並びにカメラ
JP2007259237A (ja) 撮像装置および撮像方法
JP2007316599A (ja) 表示制御装置、及び、表示制御プログラム
JP4999871B2 (ja) 撮像装置およびその制御方法
JP5822508B2 (ja) 撮像装置及びその制御方法
JP2008148180A (ja) 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP4626432B2 (ja) 撮像装置における色判別方法及び装置並びに撮像装置の露出制御方法
JP5036334B2 (ja) 撮像装置、撮像方法およびその方法をコンピュータが実行するためのプログラム
WO2019111659A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2010011153A (ja) 撮像装置、撮像方法及びプログラム
JP2009017427A (ja) 撮像装置
JP2012163679A (ja) 撮像装置、ストロボ制御方法およびストロボ制御プログラム
JP2006020022A (ja) モニタ制御装置
JP2006333052A (ja) 露出調整装置
JP5387645B2 (ja) 撮像装置及びそのプログラム
JP2006217249A (ja) 電子カメラ、電子カメラシステムおよびプログラム
US20100080549A1 (en) Imaging apparatus and method for controlling flash emission
JP4422353B2 (ja) 電子カメラ
JP5355124B2 (ja) 撮像装置及びそのシーン判別方法
KR20100112788A (ko) 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈
JP4915272B2 (ja) 撮像装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130614

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130627

R150 Certificate of patent or registration of utility model

Ref document number: 5316923

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees